企业官网建设流程全解析

JetBrains 开源的Mellum2.1-12B-A2.5B-Thinking是一款"思考型（Thinking）"MoE 编码大模型，总参数 12B、激活参数仅 2.5B。它的 Benchmark 成绩单里最抢眼的一笔，是 SWE-bench Verified 从上一代 Mellum2 的 2.0% 一路冲到 47.0%，暴涨约 23 倍。这篇文章带你把 17 项 Benchmark 数据逐类拆开，看懂它到底强在哪、短板在哪、值不值得上手。

先搞懂：Mellum2.1 是什么模型

一句话：一个会"边想边做"的轻量编码助手。

• 它继承自 Mellum2，架构完全没变，还是 12B 的混合专家（MoE）模型，每个 token 只激活 8/64 个专家，也就是 2.5B 的"有效计算量"——推理成本接近小模型，能力却往大模型靠。
• 这一代几乎所有功夫都砸在了**后训练（Post-training）**上，尤其是强化学习（RL）：从"结尾点缀"升级成了"训练主角"。
• 对软件工程任务，模型是在真实仓库 + 终端 + 文件编辑工具里"跑"出来、靠"测试是否通过"拿奖励的，所以它擅长探索代码库、改文件、自查改动。

想核对参数的，可以直接翻模型配置 config.json，或看权重分布 model.safetensors.index.json。

17项 Benchmark 全览：七大能力一张表看懂

下面这张表覆盖了全部 17 项指标，来源是官方 README.md 的评测（统一用 thinking 模式、同一条评测管线，数值为 JetBrains 自报）。所有数值为百分比，越高越好，唯独 HarmBench 越低越好。

💡 加粗为该行最高分。一眼就能看出：Mellum2.1 在编码、工具调用、数学推理上明显领先，知识/对话/安全则与 Qwen3.5 互有胜负。

SWE-bench 暴涨 23 倍：Agentic 编码能力跃升的真相

这是整份成绩单最戏剧性的一组数字：

三个 Agentic 基准，Mellum2.1 全部把 Mellum2 甩开了一个数量级。为什么能翻几十倍？

1. 训练环境真实化：模型是在真实代码仓库里"干活"训练的，能调终端、能编辑文件，"测试跑通了"才算得分。这种"在沙盒里跑了上百万次"的经历，让它学会了自主探索与自纠。
2. RL 数据大幅扩容并严格筛选：新加了数学、竞赛编程、科学、工具使用、软件工程等 RL 任务，且每个数据源都先过滤再进训练。
3. 对比要理性看：在绝对值上，Qwen3.5 (9B) 在三个 Agentic 基准上依然略高（50.0 / 21.7 / 38.0）。Mellum2.1 的真正优势在于——用远更小的激活参数（2.5B vs 9B 稠密），逼出了接近第一梯队 Agentic 能力，性价比极高。

编码与数学：稳定发挥的强项

编码是它的老本行，三项全赢：

• LiveCodeBench v6：82.0，比 Mellum2 的 69.4 高出一大截，也是同参数段对比里最高。
• HumanEval+：91.5，四项中最高，说明"看需求写函数"这种基础功力非常扎实。
• MBPP+：79.4，同样领先。

数学侧同样亮眼：

• AIME 25/26：83.3（2025+2026 各 30 题的均值），较 Mellum2 的 60.1 大涨 23 分，这是 RL 数学任务扩容的直接回报。
• GSM-Plus：88.3，与头部打平。
• 小遗憾：AIME 与 Qwen3.5 的 86.7、GSM-Plus 与其 91.4 相比，仍有几分差距。

工具调用与对话：被低估的"隐形冠军"

这组数据容易被 Agentic 的高光盖过，其实进步很实在：

• BFCL v4：62.3，四项最高，比 Mellum2 的 49.6 提升 12.7 分，是"多步子任务（v1/v2/v3/网页搜索/记忆）"上的全面领先。
• ToolHop：49.1，小幅超过 Mellum2。
• WorkBench：44.6，与 Mellum2 基本持平，略低于 Gemma 4——属于它的"相对短板"。
• IFEval（指令遵循）：90.6，从 79.5 跳升 11 分，说明模型"听话照做"的能力明显更稳。

它的对话与工具调用能力，由 chat_template.jinja 里的工具调用模板支撑（走tool_call标签的 JSON 结构），这也是它能接入自动工具选择（auto-tool-choice）的原因。

知识与安全：互有胜负，但安全更干净

知识维度，Mellum2.1 稳中有升但没能全面反超：

• GPQA Diamond：64.6（比 Mellum2 的 51.0 高 13.6 分），但仍低于 Qwen3.5 的 77.8。
• MMLU-Redux：87.8、MixEval-Hard：46.4，都超过了 Mellum2 和 Gemma 4，略逊 Qwen3.5。

安全侧是最让人安心的部分：

• HarmBench 有害率 8.5（越低越好），不仅远低于 Gemma 4 的 38.1，也大幅优于自家 Mellum2 的 21.5——越更新，越"干净"。
• XSTest 为 88.8，虽略低于 Qwen3.5 与 Gemma 4，但整体安全水位依然健康。

Mellum2.1 部署与使用：vLLM 一键拉起

架构要点（摘自 README.md）：总参数 12B / 激活 2.5B，28 层，隐藏维度 2304，64 专家激活 8，上下文 131,072，精度 bfloat16，许可Apache 2.0（可商用）。

用 vLLM 拉起服务（支持工具调用）只需：

vllm serve JetBrains/Mellum2.1-12B-A2.5B-Thinking \ --max-model-len 131072 \ --reasoning-parser qwen3 \ --enable-auto-tool-choice \ --tool-call-parser hermes

之后用标准 OpenAI 客户端接口即可对话，推荐参数：temperature=0.6、top_p=0.95、top_k=20、max_tokens留大一点（思考模型会输出较长的推理）。

总结：Mellum2.1 到底适合谁

• 想要"能动手"的编码 Agent：SWE-bench 暴涨 23 倍、Terminal-Bench 从 0.6 到 17.4，说明它是少数真正能"进仓库改代码、自己跑测试"的轻量模型，性价比突出。
• 看重推理成本：2.5B 激活参数，让它在编码/数学上以小博大，适合算力有限又要强能力的场景。
• 要留意的短板：Agentic 绝对值、数学顶尖题（AIME/GSM）、专业知识（GPQA）上仍略逊于同级的 Qwen3.5 (9B)；WorkBench、XSTest 也有小幅落后。

一句话：Mellum2.1-12B-A2.5B-Thinking 用强化学习把"Agentic 编码"从几乎为零干到第一梯队，是 12B 级别里"会自己干活"的代表作。如果你的场景是代码库级任务、终端操作与工具调用，它非常值得一试。