企业官网建设流程全解析

Hy-Memory-30B-A3B 是腾讯混元推出的紧凑型长期记忆写入模型（约 3B 激活参数），用于在 Mem0、MemOS、Hy-Memory 等外部记忆框架中决定"记什么、怎么记、如何更新"。本文带你完整拆解它的 128 专家 MoE 架构、3B 激活参数设计与 256K 长上下文的实现细节，并附上跨框架评测表现与快速上手方法。

上图展示了 Hy-Memory-30B-A3B 在四个记忆框架（harness）上的宏平均得分，其中 EverMemOS 为训练中未见的留出框架，模型平均分 55.49，整体领先同级开源与闭源模型。

一、它是什么：专攻"记忆写入"的长期记忆模型

大多数大模型负责"回答问题"，而 Hy-Memory-30B-A3B 专门负责记忆系统中的写路径（write path）：

• 判断哪些对话信息值得保留（用户事实、偏好、代码上下文等）
• 决定如何精准表达这些记忆
• 当新证据出现时，决定如何更新已有记忆库

它的定位是"可插拔的记忆写入器"——可以直接替换 Mem0、MemOS、Hy-Memory（覆盖 Chat、Working、Coding 三类场景）中的通用 LLM，甚至能零样本迁移到训练中完全没见过的 EverMemOS 框架上。

二、架构拆解：128 专家 MoE 与 3B 激活参数

所有架构细节都在 config.json 中，关键配置如下：

几个值得注意的设计点：

1. "总参 30B，激活约 3B"的 MoE 结构。全模型共 300 多亿参数（51 个权重分片），但每个 token 只路由到 8 个专家，实际计算量仅对应约 3B 激活参数——推理成本接近小型模型，能力接近大模型。

2. 专家路由细节。配置显示moe_router_use_sigmoid与moe_router_enable_expert_bias均为true，即采用带专家偏置的 sigmoid 路由（类似 DeepSeek-V3 的无辅助损失设计），并配有num_shared_experts: 1共享专家兜底，保证每个 token 都有基础容量。

3. 注意力效率。32 个查询头共享 4 个 KV 头（GQA），配合qk_norm: true的 QK 归一化，为长上下文稳定性服务。

权重文件组织可参考 model.safetensors.index.json，51 个model-000XX-of-00051.safetensors分片按层与专家切分，总大小约 60GB（bf16 精度）。

三、256K 长上下文如何实现

config.json中max_position_embeddings: 262144，即256K token上下文；tokenizer_config.json 中model_max_length同为 262144，两者严格对齐。

对记忆写入模型而言，长上下文意味着：单次可处理超长对话历史、大型代码仓库上下文，从而一次性抽取完整记忆，而不必依赖粗暴的截断。位置编码采用 RoPE（rope_theta: 11158840.0，见 config.json），配合 GQA 与 QK 归一化共同支撑超长序列推理。

四、两阶段训练：OPD 蒸馏 + 记忆强化学习

模型在与部署完全相同的框架环境中分两阶段训练（详见 README.md 的 "Two-Stage Training" 章节）：

1. Memory On-Policy Distillation（OPD，记忆在线策略蒸馏）：在"学生模型自己写出的状态链"上提供密集的 teacher 监督信号，教会模型基本的记忆写入格式与规范。
2. Attributed Memory Reinforcement Learning（带归因的记忆强化学习）：以最终记忆库效果为导向做奖励归因，按 chunk 粒度分配信用，并把得分最高的记忆库滚动传递到下一个训练窗口。

这种"先蒸馏、后强化"的方式，让模型学会的不是泛泛的摘要，而是"写出的记忆能在真实框架中跑分更高"。

五、跨框架实测表现

评测固定 harness 版本、提示词、检索配置与答题模型，只更换记忆写入器，在 LoCoMo、LongMemEval、PersonaMem-v2、Travel SPS、Shopping PS、Code Memory Bench 六项指标上打分：

亮点：作为约 3B 激活的轻量模型，它在四个框架上全部拿到第一，尤其在未参与训练的 EverMemOS 上以 56.89 大幅领先，验证了跨框架泛化能力。完整六指标明细见 README.md 的 "Detailed Benchmark Results"。

六、快速上手：vLLM 部署 + OpenAI 兼容 API

模型支持 vLLM（已验证 v0.31.0）部署，通过--served-model-name hy-memory启动后，即可用 OpenAI 兼容接口调用。最小示例：

from openai import OpenAI client = OpenAI(base_url="http://127.0.0.1:8000/v1", api_key="EMPTY") response = client.chat.completions.create( model="hy-memory", messages=[ {"role": "system", "content": "Extract explicit user facts and preferences... " 'Return only a JSON object with a "memories" list of strings.'}, {"role": "user", "content": "My name is Alex. I live in Seattle and work as a software engineer."}, ], temperature=0.0, max_tokens=512, extra_body={"chat_template_kwargs": {"reasoning_effort": "no_think"}}, )

提示：通过reasoning_effort: "no_think"关闭思考模式，可获得更低的记忆写入延迟；对话模板定义见 chat_template.jinja。

七、文件结构速览

八、小结

Hy-Memory-30B-A3B 证明了"记忆写入"可以是一个独立的模型任务：128 选 8 的 MoE 架构让 30B 总参数只需约 3B 激活成本，256K 长上下文保证超长对话不截断，OPD + 记忆强化学习两阶段训练则直接优化了真实框架中的记忆效果。如果你正在搭建长期记忆应用（Chat、Agent、Coding 场景），它几乎可以"即插即用"地替换掉你的记忆写入器。