企业官网建设流程全解析

• 人工智能
• 大模型
• 推理模型
• 模型量化

🎯 本文带你实战部署Dory1.0-4B（NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8）：一个 40 亿参数、支持 256K 上下文的循环（Looped）架构模型。它靠"循环复用同一层块"在潜空间里做更多思考，在 SWE-bench Verified 编码 Agent 基准上拿到61.8 分——超过了多个参数数 3~6 倍的模型。达标只需调对 3 个关键配置：循环次数n_recurrent_loops、KV 缓存模式recurrent_kv_cache_mode，以及工具调用解析三件套。

先认识 Dory1.0-4B：循环架构的"小钢炮"

Dory1.0-4B 采用 normalized-GPT 主干 + 交错滑动窗口注意力（SWA）/ 全注意力层的设计：输入块和输出块各 16 层，中间夹着一个 40 层的共享循环块（Recurrent block），推理时重复执行 1~4 次，不需要换模型或重训练，就能用"计算换精度"。

它到底有多能打？看官方基准表（摘自 README.md）：

在综合能力评估中，Dory1.0-4B 随循环数增加持续爬升，4 loops 时甚至逼近 35B 级别模型：

📌 更多细节可在 README.md 的 Model Summary 与 Benchmarks 小节查到。

关键配置 1：n_recurrent_loops—— Agent 任务的"深度旋钮"

这是影响 SWE-bench 得分最直接的一个参数：

• 1 loop：追求单 token 最低计算开销；
• 2 loops：官方推荐的默认起点，精度/算力平衡最好（config.json里的默认值也是 2）；
• 4 loops：面向 SWE-bench、Terminal-Bench 这类agentic 任务，得分明显再上一个台阶（50.3 → 61.8）。

vLLM 部署通过--hf-overrides注入：

vllm serve --model nvidia/NVIDIA-Nemotron-Labs-Dory1.0-4B-MXFP8 \ --hf-overrides '{"n_recurrent_loops": 4, "recurrent_kv_cache_mode": "per_loop"}' \ --max-model-len 262144 \ --max-num-seqs 128 \ --enable-prefix-caching \ --async-scheduling \ --reasoning-parser nemotron_v3 \ --tool-call-parser qwen3_coder \ --enable-auto-tool-choice

llama.cpp 部署则用--override-kv：

--override-kv "dory.num_loops=int:4,dory.recurrent_kv_cache_mode=str:per_loop"

⚡ 更妙的是：循环次数越高，模型用更少的输出 token就能解出同一道题（思考发生在潜空间，而不是更长的回复）。以 SWE-bench Verified 为例，2 loops 输出 token 降至 1 loop 的 0.79 倍，4 loops 降至 0.74 倍：

对编码 Agent 场景来说，4 loops 往往意味着"更高分 + 更短输出 + 更低端到端延迟"。

关键配置 2：recurrent_kv_cache_mode—— 压住 KV 缓存内存

普通循环模型每多跑一个 loop，就要多存一份 KV cache，内存随循环数线性膨胀。Dory 提供两种模式：

只要把上面的参数改成：

--hf-overrides '{"n_recurrent_loops": 4, "recurrent_kv_cache_mode": "last_loop"}'

无论跑几个 loop，KV cache 占用都保持在 1 loop 水平，把省下的显存留给更长的上下文和并发请求。官方实验显示，last_loop模式精度与per_loop几乎一致，输出长度也基本不变——是生产部署的省心之选。

关键配置 3：工具调用三件套 —— 让 Function Calling 稳如老狗

Dory 的 Agent 能力依赖可靠的工具调用格式。vLLM 端需要三个开关同时打开：

--enable-auto-tool-choice \ --tool-call-parser qwen3_coder \ --reasoning-parser nemotron_v3

• --enable-auto-tool-choice：允许模型自动决定是否调用工具；
• --tool-call-parser qwen3_coder：解析工具调用结构；
• --reasoning-parser nemotron_v3：切分思考内容（reasoning）与正式回复。

用 llama.cpp 时则无需这些 flag，加--jinja即可——它会启用仓库自带的 chat_template.jinja，模板原生支持tools定义、<tool_response>回填和thinking标签，还支持medium_effort、truncate_history_thinking等开关来控制多轮对话的 token 开销。

💡 编码 Agent 专属技巧：README 特别提醒，给 coding agent 调 API 时务必带上：

extra_body={"chat_template_kwargs": {"force_nonempty_content": True}}

避免"只有工具调用、内容为空"的消息在 Agent 多轮循环中引发解析问题。

采样参数与上下文建议

采样参数与 generation_config.json 保持一致即可：Temperature 1.0、Top_P 0.95，reasoning 保持开启（vLLM 默认开，llama.cpp 加--reasoning on）。

• 上下文：验证过 256K tokens，内存吃紧时可调低--max-model-len换并发余量；
• 推荐同时开启--enable-prefix-caching与--async-scheduling，Agent 多轮场景收益明显；
• llama.cpp 本地跑（如 Apple Silicon + Q5_K_M GGUF）时，注意 prompt + 历史 + 输出要控制在--ctx-size之内。

三个配置速查清单

配齐这三项，一个 4B、8-bit 的小模型就能在小显存甚至单工作站上，跑出不输大几倍模型的编码 Agent 表现。

相关文件参考

• 人工智能
• 大模型
• 推理模型
• 模型量化