企业官网建设流程全解析

• 人工智能
• 大模型
• 基础模型
• 多模态
• 计算机视觉
• NLP
• 预训练

本文将带你完成NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16的vLLM 部署：这是 NVIDIA Nemotron 3.5 Super 系列的基座多模态模型，120B 总参数、仅 12B 激活参数，采用 Mamba-2 + MoE + Attention 混合架构，支持 1M 上下文与文本、图像、视频输入。文章先帮你算清显存预算、选好GPU 组合，再用三条命令起一个带 MTP 投机解码和ultra_v3推理解析器的 vLLM 服务。

一、先认识模型：120B 总参数、12B 激活

在部署之前，先建立对这个模型的直觉——它的参数结构直接决定了硬件方案：

⚠️一个重要前提：这是Base 基座模型，用于继续预训练、蒸馏和自定义后训练。仓库 README.md 明确建议：若要做聊天、推理、工具调用等应用，应使用后训练的 BF16 或 NVFP4 版本。本文教你部署的是一套可直接复用的工程方法，同样适用于该系列的后训练权重。

模型的多模态能力（图像 patch 范围 1024~13312、224 基础分辨率的 ViT 等）都由 config.json 中的vision_config定义，vLLM 加载时会自动识别，无需手工配置视觉塔。

二、显存预算计算：到底需要多少显存？

这是部署 120B 级模型最核心的一步。我们把显存拆成四块来算：

1. 权重：约 232 GB（固定成本）

MoE 模型虽然只激活 12B 参数，但全部 120B 权重都必须加载进显存：

120B 参数 × 2 字节(BF16) ≈ 240 GB 索引文件实测总大小：231.8 GB

2. KV Cache：远比你想象的小

得益于混合架构，只有少数 Attention 层（约每 8 层 1 层）需要缓存 KV，且 KV 头数只有 2、head_dim 128：

每 token ≈ 8~11 KB（BF16） 单序列 256K 上下文 ≈ 2 GB；单序列 1M 上下文 ≈ 8~11 GB

这正是混合架构的部署红利：长上下文的显存代价远低于同规模纯 Transformer。

3. Mamba SSM 状态缓存：每序列约 0.2 GB

Mamba 层用固定大小的 SSM 状态（float32 精度）替代 KV Cache，不随上下文增长，每序列仅百 MB 量级。

4. 激活值 + Logits + 通信缓冲：预留 15%~25%

词表 131072 的 logits 缓冲、专家并行的 NCCL 通信缓冲、算子临时显存，按权重规模留 15%~25% 余量。

GPU 选型推荐

综合下来，总显存 400 GB 是安全线，800 GB 以上从容（可支撑长上下文 + 并发）。按 README.md 列出的官方测试硬件，给出如下选型表：

💡 经验法则：先用8 卡单机 + TP=8起步，跑通后再按 QPS 目标横向扩容；MoE 模型务必开启专家并行（--enable-expert-parallel）分摊 512 个专家的显存与计算。

三、vLLM 三步部署：下载、启动、验证

第 1 步：获取模型文件

仓库包含完整的模型权重与推理配置，两种获取方式任选：

# 方式一：git clone（含 config、chat template、推理解析器等全部文件） git clone https://gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 # 方式二：Hugging Face CLI 直接拉取权重 hf download nvidia/NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16 \ --local-dir ./models/super-vl-base-bf16

第 2 步：启动 vLLM 服务

vllm serve ./models/super-vl-base-bf16 \ --served-model-name nemotron-3.5-super-vl \ --trust-remote-code \ --tensor-parallel-size 8 \ --enable-expert-parallel \ --max-model-len 262144 \ --gpu-memory-utilization 0.90 \ --speculative-config '{"method":"mtp","num_speculative_tokens":1}' \ --reasoning-parser ultra_v3 \ --limit-mm-per-prompt '{"image": 8, "video": 2}'

第 3 步：关键参数速查

服务启动后，用 OpenAI 兼容 API 即可调用，多模态请求按image_url/video_url传内容即可，视觉预处理由仓库内的 image_processing_nemotron_h_omni.py 自动完成。

四、推理解析器配置：ultra_v3 拆分思考与回答

这是本仓库最有特色的部分——它自带一个 vLLM 推理解析器ultra_v3_reasoning_parser.py，注册名为ultra_v3，继承自DeepSeekR1ReasoningParser，把模型输出按<think>...</think>标签拆成reasoning_content（思考过程）和content（最终回答）两个字段。

它针对 Nemotron 的对话模板做了三个精准处理：

配置步骤

1. 将 ultra_v3_reasoning_parser.py 放入 vLLM 运行环境（如放入vllm/reasoning/目录，或在启动脚本中先import ultra_v3_reasoning_parser），完成模块注册；
2. 启动时加--reasoning-parser ultra_v3（见第三节命令）；
3. 对话模板 chat_template.jinja 默认enable_thinking=true，会自动预填<think>开头；想关掉思考模式，在请求的chat_template_kwargs中传enable_thinking: false即可。

生成参数直接沿用仓库的 generation_config.json：temperature=1.0、top_p=0.95、do_sample=true，无需额外调参。

五、性能优化清单

🚀 按优先级排列的几个提速点：

• 开启 MTP 投机解码：模型内置 1 层 Multi-Token Prediction 头（见 config.json 的num_nextn_predict_layers），num_speculative_tokens=1即可获得接近无损的解码加速，这是"原生"的，不依赖额外小模型；
• 专家并行（EP）：512 个路由专家是显存与计算的双重大头，--enable-expert-parallel在多卡下几乎总是正收益；
• 按业务调--max-model-len：不需要 1M 长上下文时降到 32K~128K，可大幅提升单卡可承载的并发序列数（KV Cache 是主要弹性空间）；
• 控制图像输入规模：视觉塔会自动将图像缩放到 1024~13312 个 patch 之间，高分辨率大图建议业务侧预缩放，能显著降低 prefill 耗时；
• 视频请求限额：mp4 最长 2 分钟、video_target_num_patches=1024（processor_config.json），视频 token 量大，务必配合--limit-mm-per-prompt限流。

模型官方的基准测试图与推理框架对比图已随仓库提供，可查阅 accuracy_plot.png 与 harness_comparisons.png 了解其评测口径。

六、常见踩坑

七、总结

部署NVIDIA-Nemotron-3.5-Super-VL-120B-A12B-Base-BF16的核心就三件事：

1. 算显存：232 GB 权重 + 轻量 KV/SSM 缓存，总显存 400 GB 起步、8 卡单机（H200/B200）最省心；
2. 起服务：vllm serve+ TP8 + 专家并行 + MTP 投机解码，一条命令上线；
3. 配解析器：仓库自带的ultra_v3解析器自动拆分思考与回答，enable_thinking一个开关控制推理模式。

这套工程方案对同系列的后训练权重同样适用，替换模型路径即可平滑迁移，非常适合团队从基座实验走向正式多模态服务。

• 人工智能
• 大模型
• 基础模型
• 多模态
• 计算机视觉
• NLP
• 预训练