5分钟上手llmfit:从安装到第一个模型推荐的终极指南
【免费下载链接】llmfitHundreds of models & providers. One command to find what runs on your hardware.项目地址: https://gitcode.com/GitHub_Trending/ll/llmfit
llmfit 是一款把大语言模型(LLM)与你的硬件自动匹配的开源终端工具。它用一条命令检测系统的 CPU、内存和 GPU,对数百个模型与提供商逐一打分排序,直接告诉你哪些模型能在你的机器上流畅运行、速度大概如何。无论你是第一次尝试本地跑模型,还是想升级硬件前先算算账,都能在 5 分钟内拿到可靠推荐。
为什么需要 LLM 硬件适配工具
本地部署大模型时,新手最常遇到三个坑:
- 显存不够:7B 模型 4bit 量化理论上 8GB 显存够用,实际一跑就 OOM
- 速度心里没底:能不能跑、跑得快不快,不试很难判断
- 量化版本挑花眼:Q8、Q5、Q4 到底选哪个?
llmfit 的思路是:先检测你的硬件,再为每个模型自动挑选「放得下的最高质量量化」,最后从适配、速度、质量、上下文四个维度综合评分排序。评分与速度估算的原理,可以在 docs/how-it-works.md 中深入了解。
第 1 步:一行命令安装 llmfit
按你的系统任选一种方式:
| 系统 | 安装命令 |
|---|---|
| Windows(Scoop) | scoop install llmfit |
| macOS / Linux(Homebrew) | brew install llmfit |
| 任意系统(Python 环境) | uv tool install llmfit |
如果你是从源码构建(Rust 项目),仓库地址是 https://gitcode.com/GitHub_Trending/ll/llmfit :
git clone https://gitcode.com/GitHub_Trending/ll/llmfit cd llmfit cargo build --release安装完成后,用这条命令验证:
llmfit system能打印出 CPU、内存、GPU 信息,就说明装好了。
第 2 步:拿到你的第一个模型推荐
直接运行llmfit进入交互式 TUI:
llmfit界面顶部自动显示检测到的系统规格(CPU、内存、GPU、加速后端),下方是模型清单,按综合得分排序,每一行展示得分、预估速度(tok/s)、推荐量化和内存占用。
高频快捷键速查(记住这几个就够用了)
| 按键 | 功能 |
|---|---|
j/k或 ↑/↓ | 上下移动选中 |
/ | 搜索模型名称或提供商 |
f | 循环切换适配过滤:All / Runnable / Perfect / Good / Marginal |
s | 切换排序列:Score、Params、Mem%、Ctx 等 |
Enter | 查看选中模型的适配详情 |
S | 打开硬件模拟(不换机器先试试升级效果) |
d | 下载选中的模型 |
q | 退出 |
排在最上面、适配等级为Perfect的模型,就是你的硬件首选推荐。
第 3 步:CLI 快速查询,脚本也能用
不想进 TUI 也没关系,这四条命令覆盖 90% 的日常场景:
llmfit fit # 所有模型按适配度排序的表格 llmfit recommend --json # 推荐模型以 JSON 输出,方便脚本消费 llmfit info "Mistral-7B" # 单个模型的适配分析与验证命令 llmfit doctor # 硬件诊断报告,提 issue 时直接贴上完整 CLI 参考和 REST API(llmfit serve)用法,见 docs/cli.md 文档。
进阶玩法 1:硬件模拟——不换机器先试「升级后」
在 TUI 里按S打开硬件模拟面板,修改 RAM、VRAM、CPU 核心数,同一份模型列表会立刻按新硬件重新计算推荐。买显卡前先模拟一遍,避免花冤枉钱。
进阶玩法 2:一键下载,跑通你的第一个模型
看中某个模型后,按d即可在 TUI 内直接下载;有多个下载源时会先弹出提供商选择框:
以 llama.cpp 运行下载的 Qwen 小模型后,还能进入 benchmark 视图实测真实 tokens/s:
实测数据还可以从 TUI 直接提交回项目,帮助相同硬件的用户获得带 ✓ 标记的实测数值,完整流程见 docs/benchmarking.md。
继续深入:去哪看
- TUI 完整指南(含主题、比较、下载管理):docs/tui.md
- 评分模型与速度估算原理:docs/how-it-works.md
- 支持的运行时提供商(Ollama、llama.cpp、MLX 等):docs/providers.md
- 内置模型库数据:llmfit-core/data/hf_models.json
llmfit 免费开源(MIT 协议),默认不向任何外部系统传输数据。现在打开终端,输入llmfit,找到最适配你电脑的那个大模型吧。
【免费下载链接】llmfitHundreds of models & providers. One command to find what runs on your hardware.项目地址: https://gitcode.com/GitHub_Trending/ll/llmfit
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考