企业官网建设流程全解析

K2-Horizon-3.7B-bf16 是 IFM 出品的 3.7B 密集小模型的 MLX bf16 版本，专为 Apple Silicon 设计，支持 512K 超长上下文。本文将带你完整拆解它的chat 模板：多轮对话中 system / user / assistant / tool 四种角色如何拼接，<ifm|think>思考标签的三级推理强度如何切换，以及工具调用（tool calls）的 json、xml、markdown 三种消息格式，帮你一次看懂、直接上手多轮对话实战。

一、先认识 K2-Horizon-3.7B-bf16

这是一个开箱即用的完整模型仓库，核心文件一目了然：

几个关键规格（来自 config.json）：

• hidden_size：2560，36 层decoder-only 密集结构
• max_position_embeddings：524288，即512K 上下文窗口
• dtype：bfloat16，未量化，短提示词峰值内存约10.2 GB，24 GB 的 Mac 即可运行

安装依赖只需一行：

pip install -U mlx-lm

💡 注意：mlx-lm 尚未原生支持k2_horizon架构，所以运行时必须加--trust-remote-code（或trust_remote_code=True）来加载仓库内自带的 k2_horizon.py。

二、chat模板核心：消息的三段式结构

K2-Horizon 的 chat 模板（chat_template.jinja）把每条消息渲染成如下"三段式"：

<|ifm|im_start|>角色名 消息内容<|ifm|im_end|>

四种角色各司其职：

多轮对话就是把[system, user, assistant, user, ...]依次按上式拼接，最后追加一个"待模型生成"的开头（见下文思考标签部分）。分词器的 BOS 为<|ifm|begin_of_text|>、EOS 为<|ifm|endoftext|>（见 tokenizer_config.json），模板开头会自动补上 BOS token。

MLX 版的一个重要改进：原始模板要求历史 assistant 消息必须带思考字段，否则直接报错——而 OpenAI 风格的客户端往往不带。本仓库的模板改为容忍缺失，自动渲染为空思考块（chat_template.jinja），这让第三方客户端开箱即能接入多轮对话。

三、思考标签：reasoning_effort 三级推理强度

K2-Horizon 是"先思考再回答"的模型，思考内容写在专属标签里。模板定义了三级强度，通过reasoning_effort参数切换（chat_template.jinja）：

当add_generation_prompt=True时，模板会在末尾生成类似这样的前缀，模型接着往下续写：

<|ifm|im_start|>assistant <ifm|think>

两个实战要点：

1. 给max_tokens留出余量：思考过程也占用生成长度，简单任务建议至少 2048。
2. 历史消息的思考字段可以是think、reasoning、reasoning_content、think_fast、think_faster任一字符串字段，模板会自动识别并包上对应标签。

四、工具消息格式全解析：三种呈现 + 三种调用

这是 K2-Horizon chat 模板最出彩的部分，由两个参数控制（默认值见 chat_template.jinja）：

4.1 工具"说明书"怎么呈现：tool_presentation_format

控制<ifm|tools>块内工具定义的写法：

挂载工具后，system 消息会被自动扩展：先输出# Tools与可用工具清单，再附上调用格式说明，最后才是你自己的 system 内容（chat_template.jinja）。

4.2 工具"调用"怎么输出：tool_call_format

控制 assistant 消息里 tool_calls 的渲染方式：

所有调用统一包裹在<ifm|tool_calls>...</ifm|tool_calls>块中，数组和对象参数以 JSON 字面量书写。

4.3 工具结果怎么回喂：tool 角色消息

执行完函数后，把返回值作为role: "tool"的消息传回，模板渲染为：

<|ifm|im_start|>tool 执行结果文本<|ifm|im_end|>

模板支持字符串、列表（含{"text": "..."}元素）等多种 content 形态，非字符串内容会自动序列化为 JSON。

⚠️ 一个细节：mlx-lm 的mlx_lm.server目前还不认识<ifm|think>标签和 K2-Horizon 的工具调用格式，思考文本会直接混在content里返回，需要自行解析（详见 README.md 的 Notes 部分）。

五、快速上手：多轮对话三种姿势

命令行一轮生成（注意--trust-remote-code）：

mlx_lm.generate --model mlx-community/K2-Horizon-3.7B-bf16 --trust-remote-code \ --prompt "Explain mixture-of-experts in two sentences." --max-tokens 2048

Python 多轮 + 调思考强度：

from mlx_lm import load, generate model, tokenizer = load("mlx-community/K2-Horizon-3.7B-bf16", trust_remote_code=True) messages = [ {"role": "user", "content": "帮我比较 3.7B 和 36B 模型的取舍"}, {"role": "assistant", "content": "3.7B 更快更省内存，适合本地多轮对话……"}, {"role": "user", "content": "那长上下文场景呢？"}, ] prompt = tokenizer.apply_chat_template( messages, add_generation_prompt=True, reasoning_effort="low" ) print(generate(model, tokenizer, prompt, max_tokens=2048))

交互式聊天：mlx_lm.chat与mlx_lm.server同样只需加--trust-remote-code，即可直接多轮对话。

六、常见坑与参数速查

关键参数速查：

• reasoning_effort：high/medium/low，默认high
• tool_presentation_format：markdown（默认）/json/xml
• tool_call_format：xml（默认）/json/xml_typed
• add_generation_prompt：True时自动补思考起始标签

掌握以上三点——三段式消息结构、三级思考标签、三种工具格式——你基本可以玩转 K2-Horizon-3.7B-bf16 的全部多轮对话场景了。更多基准数据（bf16/8bit/4bit 三档对比：50.3 tok/s、峰值 10.2 GB 等）可查阅仓库 README.md。