text-generation-webui 模型下载完整指南:3 步把 Hugging Face 大模型存到本地
【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen
text-generation-webui 是一个跑在本地的大模型桌面工具,文本、视觉、工具调用都支持,数据不出机器。它自带一个独立的下载脚本download-model.py,把从 Hugging Face 取模型这件事压缩成一条命令:断点续传、校验和、多线程、格式过滤都替你做了,不用再去浏览器里手点下载、手动整理文件。
一条命令完成首次模型下载
先拿到代码库,再进目录:
git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui然后在目录里跑:
python download-model.py gpt2脚本会做三件事:调用 Hugging Face 的接口拉取模型仓库的完整文件列表,按规则挑出要下哪些文件,创建目标目录并多线程下载,每个文件带进度条。输入格式很宽松,facebook/opt-1.3b这种标准路径、带:分支名的写法,甚至直接粘完整的 Hugging Face 文件 URL 都可以识别。
下载完想确认文件没下坏,加--check即可,脚本会逐个比对 sha256 校验和,结果会打印在终端里:
python download-model.py gpt2 --check看清它替你过滤了哪些文件
很多模型仓库里同一份权重有好几种格式,全下载既费空间又没必要。这个脚本内置了一套筛选规则:
- 仓库里同时有 PyTorch 权重和 Safetensors 时,只下 Safetensors,因为后者加载更安全;
- 仓库是 GGUF 集合时,不指定文件的情况下只挑 Q4_K_M 这一档量化,它是体积和质量的常见平衡点;
- 配置文件、词表、tokenizer 这类小文件永远会跟着下载,缺了它们模型加载不起来;
- 识别出 LoRA 适配器(
adapter_model.bin、adapter_config.json)后,文件会存进user_data/loras而不是模型目录。
如果规则不合你意,可以手动接管:
python download-model.py gpt2 --text-only python download-model.py big-model --exclude-pattern "*.bin" python download-model.py TheBloke/Llama-2-7B-Chat-GGUF --specific-file "model-Q4_K_M.gguf"--text-only只取配置和文本文件;--exclude-pattern按正则排除;--specific-file精确到单个文件,这对只想拿某个 GGUF 分片的场景最省事。
大文件怎么下得更快、更稳
默认 4 线程并发、出错最多重试 7 次,普通家用网络够用。大模型或网络差时,把这几个参数一起调:
python download-model.py TheBloke/Llama-2-13B-GPTQ:gptq-4bit-32g-actorder_True \ --threads 8 --max-retries 15--branch可以不写进模型名后面,用参数单独指定分支。下载中断时不用慌,脚本默认断点续传:再次运行同样的命令,已下的部分通过 HTTP Range 请求接着写,不会从零开始。只有你明确加--clean时才会丢弃本地已有文件重新下。
下载出错时按这个顺序排查
- 401/403 认证失败:私仓或受限模型需要令牌。脚本会读
HF_TOKEN环境变量,也认HF_USER和HF_PASS这一对,或者你之前用huggingface-cli login登录过的凭据。 - 反复超时:调大
--max-retries,重试间隔按 2 的指数递增,给慢网络留足余量。 - 默认磁盘不够:
--output直接把文件落到指定目录;--model-dir则是在自定义根目录下按模型名建子文件夹。 - 校验没过:重新跑一次即可续传补齐,仍失败就用
--clean删掉残文件重来。 - 国内网络:设置
HF_ENDPOINT环境变量可以整体切换 Hugging Face 端点,脚本的接口调用和文件下载都会走新地址。
下载的文件都躺在哪里
不指定路径时,存放规则是固定的:多文件模型进user_data/models下的子目录,目录名是"作者_模型名",非 main 分支还会拼上分支名;单个 GGUF 文件直接平铺在user_data/models根下;LoRA 进user_data/loras。每个非 GGUF 模型目录里还会有一个huggingface-metadata.txt,记录了来源 URL、分支、下载时间和所有 LFS 文件的 sha256,日后核对来源或重校验都靠它。
接下来建议你先拿一个小模型(比如 gpt2)走通下载、校验两个环节,再挑一个你真正要用的 GGUF 量化版,配合--specific-file只取需要的分片。模型就位后,就可以启动 Web UI 选模型开始对话了,更多技巧可以看 docs/08 - Additional Tips.md。
【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考