企业官网建设流程全解析

图片与视频输入全指南：如何喂图给NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF，看懂2分钟视频

NVIDIA-Nemotron-3.5-Bolt-74B-A9B-GGUF 是 NVIDIA 开源视觉语言模型 Nemotron 3.5 Bolt 的 GGUF 量化包（74B 总参数 / 9B 激活）。它原生支持图片输入、视频理解与 256K 长上下文，可完全在本地电脑运行——把一张图片、一段 2 分钟的视频"喂"给它，就能返回文字描述、问答与分析结果。

为什么它能"看懂"图片：一个视觉编码器是关键 🧠

这个模型不是"文字模型加了贴图"，而是真正的视觉语言模型（VLM）：

• 架构：Mamba-2–Transformer 混合 LatentMoE，搭配C-RADIO v4-H 视觉编码器，通过 MLP 投影器把图像特征"翻译"给语言主干；
• 输入：文本、图片（RGB，jpeg/png）、视频（mp4，最多 2 分钟）；
• 输出：纯文本，支持 JSON 结构化输出、思维链推理与工具调用；
• 上下文：最长 256K tokens，图片、视频帧与对话历史共享这一窗口。

其中视觉投影器单独存放在仓库根目录的 mmproj-BF16.gguf，喂图/喂视频时必须和主模型一起加载，这是很多人"模型跑起来了却看不见图片"的原因。

图片输入快速上手：三步完成

1. 选一个量化版本（选型建议见下文"挑选合适的量化"）；

2. 加载模型 + 视觉投影器，以 llama.cpp 为例，启动时同时指定两个文件：

   llama-server -m 你的模型.gguf --mmproj mmproj-BF16.gguf

   在 LM Studio、Open WebUI 等图形界面中，一般只需在设置里分别选择主模型和 mmproj 文件即可；

3. 在对话框直接拖入图片，配上问题（如"描述这张图里的表格内容"）发送。

💡 官方推荐采样参数：temperature 1.0、top_p 0.95；聊天模板还提供enable_thinking=True/False开关，控制是否输出推理过程。

看懂 2 分钟视频：帧采样规则 ⏱️

视频理解靠的是抽帧——模型把视频按固定帧率采样成一组图像帧，再交给视觉编码器处理。官方给出的推荐规则：

几个实用建议：

• 视频格式用mp4；音频轨道不参与理解，模型只看画面；
• 想要更细的时序细节，可把视频转成 720p，允许 2 FPS 采样；
• 2 分钟以上的长视频建议剪成多段分别提问，或利用 256K 上下文逐段汇总；
• 典型场景：会议录屏问答、操作教程复盘、监控片段摘要、网页浏览视频回放。

挑选合适的量化：显存决定一切 💾

仓库内置了从全精度到 2-bit 的完整量化阶梯，按需取用：

注意：分片版（-00001-of-00003.gguf这类文件）必须同目录放齐全部分片再加载；低比特版本会牺牲一部分视觉细节，跑图片 OCR、图表识别时建议至少选 Q4_K_XL 以上。

加速技巧：DFlash 投机解码

根目录的 dflash-NVIDIA-Nemotron-3.5-Bolt-74B-A9B-NVFP4.gguf 是配套的 NVFP4 草稿模型（drafter），在支持投机解码的推理框架（如 vLLM 官方配方）中可一次投机 7 个 token，显著降低首字延迟与生成耗时。搭配方式：主模型 + mmproj + dflash 草稿器三者同载。

常见问题 ❓

• 中文能用吗？可以。官方输入说明覆盖英文、中文、法、西、意、德、日、韩、印地、巴西葡语等 10 种语言。
• 视频里的声音能听吗？不能，视频通过抽帧理解，音频不参与。
• 隐私安全吗？全程本地推理，图片与视频不离开你的机器。
• 更多官方细节？完整模型卡（架构、训练方法、基准测试）见 README.md。

小结：主模型 +mmproj-BF16.gguf是"喂图"的必备组合；图片直接拖入对话框，视频按 mp4、2 分钟以内、抽帧规则处理；显存不足时从 UD-Q4_K_XL 逐级往下选量化即可。