企业官网建设流程全解析

LFM2.5-24B-A2B-Preview 是 Liquid AI 推出的 240 亿参数 MoE 推理模型，每个 token 仅激活约 2B 参数，专为端侧快速、私密的 Agent 场景打造。它吃下33 万亿 token的训练预算，再通过五阶段后训练配方完成"从 Base 到 Agent"的蜕变。这篇指南带你完整拆解这套配方的每一步。

一张表看懂 LFM2.5-24B-A2B 的核心配置

先建立整体认知。关键数据可直接在 README.md 的 Model Details 部分查证：

这些数字可以在 config.json 中逐一对应：num_hidden_layers: 40、num_experts: 64、num_experts_per_tok: 4、max_position_embeddings: 131072、vocab_size: 128000，而layer_types字段清楚展示了 40 层里 "conv, conv, full_attention" 循环交替的混合结构——大部分层用双门短卷积代替注意力，这正是 MoE 速度推理的关键。

33万亿token是怎么"花"的：预训练与中训练

训练管线分为三段：预训练（Pre-training）→ 中训练（Mid-training）→ 后训练（Post-training）。

• 预训练：从上一代 LFM2 的 ~17T 扩大到 ~33T token，打牢通用知识底座。
• 中训练：分两阶段，是"从通用模型转向推理模型"的转折点：
  1. 2T tokens @ 32K 上下文：数据向推理、数学、代码、指令遵循和多语言文本倾斜；
  2. 300B tokens @ 128K 上下文：向长上下文数据倾斜，让模型真正吃下 128K 窗口。
• 两个阶段都混入了工具调用与多轮轨迹数据——Agent 能力早在中训练期就开始埋线。

五阶段后训练配方：从 Base 炼成 Agent

后训练是把"会说话的 Base 模型"（LFM2.5-24B-A2B-Base）变成"会干活的 Agent"的核心，共五个阶段：

阶段一：监督微调（SFT）

用高质量指令-回答对做监督微调，教会模型标准对话格式、思考习惯与基本的指令遵循。这是所有后训练的"地基"。

阶段二：教师特化（Teacher Specialization）

引入教师模型做领域特化，让模型在目标领域（推理、工具调用等）上获得更强的"先验能力"，为后续蒸馏准备好高质量学生。

阶段三：非 Agentic 多领域在线策略蒸馏（on-policy distillation）

用在线策略蒸馏覆盖多个非 Agent 领域：模型自己生成回答，再对齐教师模型给出的分布。相比离线蒸馏，on-policy 方式能针对性纠正模型"自己会犯的错"，提升通用推理质量。

阶段四：Agentic 多领域在线策略蒸馏

同样的蒸馏范式，但训练数据换成Agent 轨迹：多轮工具调用、状态跟踪、规划执行。这是模型获得"动手能力"的关键一步。

阶段五：Agentic 强化学习（RL）

最后用面向 Agent 工作负载的强化学习收口，让模型在真实任务环境中试错优化——这也是 README 中"Best-in-class agent"（Agent 性能对标参数量多约 50% 的 Qwen3.6-35B-A3B）的最终来源。

💡 配方的精髓：先 SFT 定形 → 教师特化提质 → 两轮蒸馏（先通用后 Agent）→ RL 在真实环境中打磨，层层递进。

上手使用：永远先思考 + 四步工具调用

LFM2.5-24B-A2B-Preview 是一个纯推理模型——回答前永远先思考。查看 chat_template.jinja 末尾即可看到：当add_generation_prompt为真时，模板会自动以assistant\n+<think>结尾，强制模型进入思考状态。

工具调用（Function Calling）分四步：

1. 定义函数：把工具列表以 JSON 形式放进 system prompt（List of tools: [...]），模板会自动渲染；
2. 发起调用：模型默认输出 Pythonic 风格调用，写在<|tool_call_start|>与<|tool_call_end|>特殊 token 之间；
3. 执行函数：你的代码执行调用，以tool角色把结果喂回；
4. 最终回答：模型解读工具输出，给出自然语言答案。

官方还开源了桌面 Agent 应用 LocalCowork，单台笔记本即可跑 67 个工具、横跨 13 个 MCP server，无云端、无 API key。

推荐生成参数（来自 generation_config.json）：

• temperature: 0.1
• top_k: 50
• repetition_penalty: 1.05
• do_sample: true

低温度 + top-k 采样的组合，让 Agent 场景下的工具调用更稳定、可复现。

仓库文件导览：这些配置值得细读

小结：为什么这套配方值得学

• 33T token预训练 + 两阶段中训练，把"推理基因"和"128K 长上下文"都压进了底座；
• 五阶段后训练（SFT → 教师特化 → 两轮 on-policy 蒸馏 → Agentic RL）是 Base 变 Agent 的完整路径，蒸馏与强化学习各占其位；
• 64 专家 top-4 路由 + 卷积-注意力混合层，保证每个推理 token 只花 2B 激活参数的成本，端侧 Agent 才能"又快又私密"。

如果你想在自己的设备上跑一个"先思考、再调工具、最后给答案"的 Agent，LFM2.5-24B-A2B-Preview 是目前参数效率路线上相当完整的一个参考答案。