企业官网建设流程全解析

• 人工智能
• 大模型
• 多模态
• 语音
• AI Agent
• 计算机视觉
• 强化学习
• 模型蒸馏

MiMo-V2.6-Pro-MOPD是小米最新开源的多模态 Agent 大模型：1.02T 总参数（MoE 结构、每 token 仅激活 42B）、原生支持1M token 超长上下文，同时打通文本、图像、视频、音频四种模态。它基于 MiMo-V2.6-Pro-RL 检查点，通过MOPD2 在线策略蒸馏升级而来，重点修复了 Agent 场景下的工具调用重复问题，是一个真正"看得见、听得懂、会干活"的开源模型。

📌 本文面向新手：用大白话讲清楚这个模型是什么、核心卖点在哪、以及如何最快跑起来。

1️⃣ MiMo-V2.6-Pro-MOPD 是什么模型

先看整体架构：中间是文本主干，两侧接入"视觉"与"音频"编码器，输出端还挂了一个加速应答的多 token 预测（MTP）模块。

图 1：MiMo-V2.6-Pro-MOPD 整体架构（图源自 assets/architecture.png）

一句话拆解它的定位：

• MoE 稀疏专家架构：1.02T 总参数、每 token 激活 42B，"大脑容量大 + 推理开销小"
• 1M 上下文：约等于塞进上百页长文档仍能抓住全局信息
• 全模态输入：文本 / 图像 / 视频 / 音频，各有独立编码器
• Agent 原生：内置工具调用协议与思考链，可多轮自主执行任务
• MOPD2 升级：把多个"领域专家教师模型"的能力蒸馏进一个模型，并显著抑制工具调用重复

2️⃣ 模型核心参数速查表

以下数据均可在 config.json 中核对：

3️⃣ 看得见：MiMo ViT 多模态视觉编码器

视觉部分采用自研MiMo ViT：28 层 Transformer，其中 24 层用滑窗注意力（SWA）、4 层用全局注意力——既看局部细节，又看全局结构。

• 输入 patch 为2×16×16（2 帧 × 16 像素 × 16 像素），图像、视频通用
• 视频最多 3600 帧，每秒仅生成 2 个视觉 token，长视频也能装进 1M 上下文
• 单图最大 840 万像素，高分辨率不压缩

完整配置见 config.json 的vision_config段，视觉前向实现位于 modeling_mimo_v2.py。

4️⃣ 听得懂：AudioTokenizer 音频理解

音频走"tokenizer + 编码器"两段式设计，思路与 LLM 一脉相承：

1. AudioTokenizer（308M、20 层 RVQ 码本）先把音频转成离散"音频 token"，单次最长处理 300 秒，配置见 audio_tokenizer/config.json；
2. 6 层音频 patch 编码器（127M）再把 4 帧合成 1 个 token，把 25Hz 特征压缩到 6.25Hz，大幅减少音频占用的上下文长度。

音频 tokenizer 的独立权重打包在 audio_tokenizer/model.safetensors，配套 audio_tokenizer/config.json 使用。

5️⃣ 会干活：Agent 工具调用与重复治理

Agent 场景里有个容易被忽视的坑：模型反复发出相同或高度相似的工具调用，看起来很忙，实际没有推进。官方专门做了诊断并在此版本中修复，下图对比了 RL 版本与 MOPD 版本的响应级重复率，降幅非常直观：

图 2：MiMo-V2.6-Pro RL 阶段与 MOPD 检查点的响应级工具调用重复率对比（图源自 assets/mimo-repetition-rate-pro-en.png）

使用层面，chat_template.jinja 已原生集成标准tool_calls协议与reasoning思考链，推理框架部署时加上--tool-call-parser mimo --reasoning-parser mimo即可开箱即用。

6️⃣ MOPD2 在线策略蒸馏是怎么升级的

MOPD2 可以理解为"多位专家导师带一个全能选手"：

• 教师分两类：mixRL 教师（擅长可验证任务）+ SFT 教师（擅长没有可靠奖励的开放域任务）
• 三路蒸馏数据流：
  1. 标准 MOPD——教师监督学生自主 rollout 的完整轨迹
  2. Teacher-Prefix OPD——教师提供对话前缀，学生自己写下一轮
  3. SFT-Prefix OPD——示范数据提供前缀，学生自己续写

这种方式把能力延伸到"难以设计可靠奖励"的领域（长程游戏开发、科研、具身智能等），工具调用重复治理也顺带在常规 MOPD 流程中完成，无需单独重训。方法细节见 README.md 引用的 Technical Report。

7️⃣ 最快部署方法：SGLang 与 vLLM 一键启动

方案一：SGLang（官方推荐，性能最佳，多机部署）

docker pull lmsysorg/sglang:latest sglang serve \ --trust-remote-code \ --model-path XiaomiMiMo/MiMo-V2.6-Pro-MOPD \ --tp 16 --dp 2 --enable-dp-attention \ --mm-enable-dp-encoder \ --ep 16 --moe-a2a-backend deepep \ --mem-fraction-static 0.7 \ --speculative-algorithm EAGLE \ --speculative-num-steps 3 --speculative-num-draft-tokens 4 \ --enable-multi-layer-eagle \ --reasoning-parser mimo --tool-call-parser mimo

方案二：vLLM（单机 8 卡更简单）

vllm serve XiaomiMiMo/MiMo-V2.6-Pro-MOPD \ --tensor-parallel-size 8 \ --trust-remote-code \ --gpu-memory-utilization 0.95 \ --reasoning-parser mimo \ --tool-call-parser mimo \ --enable-auto-tool-choice \ --generation-config vllm

官方推荐采样参数：temperature=1.0、top_p=0.95。也可以直接从仓库拉取全部权重文件：

git clone https://gitcode.com/XiaomiMiMo/MiMo-V2.6-Pro-MOPD

此外，通过小米 MiMo API 平台、MiMo Studio、MiMo Desktop 或 OpenRouter 都可以直接调用，无需自己部署。

8️⃣ 仓库结构与关键资源文件

🎯 一句话总结

• 定位：小米开源的 1.02T 多模态 Agent 大模型，1M 上下文，全模态输入
• 最大惊喜：MOPD2 蒸馏让 Agent 阶段"不绕圈"，工具调用重复率大幅降低
• 上手：API 平台开箱即用；自部署走 SGLang 或 vLLM
• 部署关键点：别忘了加--tool-call-parser mimo --reasoning-parser mimo

• 人工智能
• 大模型
• 多模态
• 语音
• AI Agent
• 计算机视觉
• 强化学习
• 模型蒸馏