企业官网建设流程全解析

• 大模型
• 模型量化
• 多模态
• 人工智能
• 本地部署
• Qwen
• Ascend

Qwen3.6-35B-A3B-w4a8-mxfp 是基于 Qwen3.6-35B-A3B 的W4A8（MXFP）精度量化版多模态大模型，原生支持图像理解与视频理解两大能力。本文面向新手，用 3 个实用技巧带你快速激活它的多模态能力，并给出在 Ascend NPU 上低成本部署的要点。

一、先认识这款多模态大模型 🤖

在动手之前，先花 1 分钟了解模型的关键档案（来自 config.json 与 README.md）：

💡为什么关注量化版？4bit 权重 + 8bit 激活让显存占用大幅降低，而多模态能力几乎不受影响——这是本文第 3 个技巧的核心。

获取模型仓库：

git clone https://gitcode.com/Eco-Tech/Qwen3.6-35B-A3B-w4a8-mxfp

二、技巧1：用标准消息格式传入图片，激活图像理解 🖼️

想让模型"看懂"图片，关键在于消息格式。本仓库内置的对话模板 chat_template.jinja 支持 OpenAI 兼容的多模态消息结构：在user消息的content列表中放入type为image（或image_url）的条目即可：

{ "role": "user", "content": [ {"type": "text", "text": "请详细描述这张图片中的内容"}, {"type": "image", "image": "https://example.com/photo.jpg"} ] }

模板会自动完成两件"脏活累活"：

1. 为每张图片生成Picture 1:、Picture 2:等编号前缀，方便多图问答；
2. 自动插入视觉标记<|vision_start|><|IMAGE|><|vision_end|>（<|IMAGE|>对应image_token_id: 248056，见 config.json）。

图像预处理要点（preprocessor_config.json）：

⚠️新手易踩的坑：视觉模板中明确禁止在system消息里放图片或视频（chat_template.jinja 会直接抛出异常），请始终将图片放在user消息中。

三、技巧2：一条消息开启视频理解 🎬

很多新手只试过"传图"，其实本模型同样支持视频理解，原理与图像一致，只是多了时间维度：

{ "role": "user", "content": [ {"type": "text", "text": "这个视频里发生了什么？请按时间顺序总结"}, {"type": "video", "video": ["frame_001.jpg", "frame_002.jpg", "frame_003.jpg"]} ] }

• 模板会自动为视频生成Video 1:编号并插入<|VIDEO|>标记（video_token_id: 248057，见 chat_template.jinja 与 config.json）；
• 视频由独立的Qwen3VLVideoProcessor处理（video_preprocessor_config.json），temporal_patch_size: 2表示每 2 帧合并为一个时间块，让模型感知动作的先后顺序；
• 典型应用场景：视频内容摘要、动作事件识别、长短视频问答。

💡 小贴士：采样帧数直接影响理解质量，帧太稀模型可能"看不清发生了什么"；建议按视频时长适当增加抽帧数量。

四、技巧3：W4A8 量化让多模态部署更省资源 ⚡

w4a8-mxfp这个名字拆开看就是Weights 4bit +Activations 8bit，量化策略记录在 Qwen3.6-35B-A3B_best_practice.yaml：

一个值得注意的专业细节：量化配置中通过exclude: *visual*（Qwen3.6-35B-A3B_best_practice.yaml）将视觉编码器排除在量化之外，保证图像/视频特征的提取精度不受损——这正是该量化版能"多模态能力不掉链子"的关键设计。

部署建议：

• 推理框架选用vLLM-Ascend，目标硬件Ascend 950（yaml 中verified_tags已标注，见 Qwen3.6-35B-A3B_best_practice.yaml）；
• 生成参数建议沿用官方 generation_config.json：temperature: 1.0、top_p: 0.95、top_k: 20、do_sample: true；
• 量化复现脚本可参考 README.md 中的msmodelslim quant命令。

五、新手避坑清单 📋

六、核心文件速查 📂

小结：记住三个要点——图片用标准多模态消息格式传入、视频按帧列表传入并保证抽帧质量、W4A8 量化版放心部署到 Ascend NPU，你就能在这款模型上完整跑通图像与视频理解任务。

• 大模型
• 模型量化
• 多模态
• 人工智能
• 本地部署
• Qwen
• Ascend