☰
metaSRI/SRI2:一种针对“递归自我改进系统”本身的“元递归自我改进系统”
2026/11/4 7:08:24 网站建设 项目流程

该文来自于以下单位的论文“metaSRI/SRI2: A Meta-Recursive Self-Improving System for Recursive Self-Improving Systems Themselves”, 2026年9月。

metaRSI 最有价值的贡献,是把“自我改进”组织成一个可调度、可审计的系统工程框架。论文提供了组合优化优于单独优化的实验依据;但对开放科学任务的泛化、“能力边界”的可靠识别,以及几条所谓“定律”,证据仍不充分。

如图所示:

一、metaRSI 的方法到底是什么?

作者把待改进系统写成:

S=(D,theta,H)

其中,D是数据,theta 是模型参数及训练配置,H 是执行框架(harness),包括提示词、记忆、工具、技能和 MCP 接口。基本观点是:系统表现由这三者共同决定,失败之后应该先判断改哪里,而不是默认继续训练模型。

整个方法可以分成三个层次。

第一层:三个改进算子,共用一个闭环。

算子改什么具体做法主要作用
Data-RSI数据 D从执行轨迹提取经验,生成训练记录,再做盲解验证、去重和来源检查把已有但不稳定的能力转化为可复用数据
Harness-RSI执行框架 H对提示词、记忆、工具、技能、MCP 五类槽位提交结构化补丁不训练,直接改善系统行为
Model-RSI参数 theta在限定的 LoRA 与训练配置空间中训练候选模型把依赖外部提示和流程的行为内化到参数

三个算子都遵循同一个内核:

观察 → 诊断 → 提案 → 校验 → 执行 → 选择 → 导出。

关键设计是权限分离:模型负责诊断和提出修改,受保护的程序负责检查修改范围、执行评估和决定是否接受。最终测试集、评估器、发布规则与资源账本不允许被自改进组件修改。

Data-RSI 还把失败诊断为四类:知识缺失、推理失败、缺少验证、受到干扰项影响。它试图据此区分“已有能力没有用好”和“需要引入新知识”。

第二层:既优化执行顺序,也优化算子本身。

RSI² Agent 在两个轴上做决策:

  • 横向调度:下一步运行哪个算子、按什么顺序、分配多少预算。
  • 纵向优化:修改某个算子的诊断和提案策略,例如改变数据生成时优先处理的失败类型。

一个有代表性的过程是:

H → D → M → H

即先用执行框架补足行为,再收集改善后的轨迹、训练模型,最后删除已经被模型内化的框架规则。这样既可能提高能力,也可能收回提示词和记忆占用的上下文预算。

论文特别要求证据新鲜度:框架或模型改变后,必须重新评估、重新生成诊断。按照这一约定,H→ M被禁止,因为训练数据还没有反映刚刚改变的系统,需要先经过 D。

第三层:修改“如何调度”的策略。

一个完整改进周期结束后,MetaRSI² Agent 回顾收益、失败候选与预算消耗,修改下一周期的调度策略,例如:

  • 什么情况下值得训练;
  • 什么情况下先修改提示词;
  • 什么时候停止搜索;
  • 什么时候应该先改算子的提案策略。

这里的“meta”就是:不仅改系统,也改改进过程,再改控制这个过程的调度策略。最外层 meta agent 自身保持固定,因此是有限的三层结构。

metaSRI概览如下:

二、实验实际支持了什么?

主实验使用 Qwen3.5-35B-A3B。表 3 报告如下,单位为分数,提升量为百分点:

基准初始系统metaRSI提升
Terminal-Bench 2.123.631.9+8.3
SWE-bench Pro10.319.5+9.2
GPQA-D-hard10071.283.8+12.6
AIME55.068.3+13.3

四项平均提升10.9 个百分点,相比最强单算子 Harness-RSI 多提升4.3 点,相比人工固定流程 (D→ M→H) 多提升3.6 点。

与“元改进”最相关的是第 5.4 节:从同一个第一轮结果出发,下一轮由原改进器继续优化,平均再提高 4.9 点;由更新后的改进器优化,则提高 7.2 点。五轮累计收益分别为 20.7 和 26.2 点。

这支持了一个较具体的结论:在这些任务与预算设置下,修改改进策略可能提高后续优化效率。但两条路径的单轮收益都在递减,实验展示的是延缓平台期,而非持续加速。

三、主要贡献

1. 把数据、执行框架与参数优化统一起来。

这是论文最扎实的贡献。它把常见但彼此割裂的做法放到同一套输入、产物、预算与验证协议下,让它们可以被比较、组合和自动调度。创新主要体现在系统组织方式,而非新的底层训练算法。

2. 将“如何改进”变成可优化对象。

它明确区分了算子执行、算子策略修改和调度策略修改。相较固定自训练流水线,这使系统可以根据历史证据调整改进方式。相同起点比较两个改进器的实验,也比仅展示最终分数更接近检验这一贡献。

3. 重视评估隔离、来源追踪与修改边界。

结构化补丁、受保护的评估器、产物谱系和资源账本,有助于判断收益来自什么修改,并减少直接篡改评分规则的空间。这些设计对实际部署很有价值。

4. 提供了适用于闭源模型的路径。

只开放 API 时,仍可以运行 \(D\leftrightarrow H\):提取经验并改进执行框架,无须访问权重。论文报告六个模型在 Terminal-Bench 上平均提高 7.3 点,说明框架路线有一定实用潜力。

四、主要不足与值得质疑的地方

1. 研究动机强调开放领域,实验仍局限于强验证任务。

论文强调医学、历史、湿实验等领域缺少便宜的验证器,但实际实验全部依赖代码测试、选择题答案或数值答案。

因此,它证明了框架在可自动验证任务中的效果,尚未证明其能在弱验证条件下可靠运行。统一接口可以容纳专家判断,却不能自动解决专家判断昂贵、不稳定或有偏差的问题。

2. 没有观察到某种能力,不等于模型没有这种能力。

Data-RSI 用有限轨迹诊断知识缺失、推理错误等原因,但这些诊断本身依赖模型判断。

一次失败可能来自提示方式、搜索预算或工具使用问题,而非缺少知识。论文没有充分展示能力边界诊断的准确率、校准情况,以及与专家判断的一致性。将其视为外部监督的精确分配依据,还需要验证。

3. 同一个模型的盲解一致,只能有限地保证数据正确。

数据作者和盲解者虽然看不到彼此答案,却使用同一个目标模型,可能共享相同误解。因此:

独立输入下的一致性 /= 独立知识来源的正确性

论文承认这一点。代码任务有执行验证补强;缺少可靠答案的开放任务中,相关错误可能被重复生成并进入训练。

4. 组件贡献的因果归因还不够清楚。

完整系统同时具备动态顺序、纵向策略修改和跨周期 meta 更新。它超过固定流程的 3.6 点,不能全部直接归因于“顺序调度”。

更有说服力的实验应在相同总预算下,分别控制横向调度、纵向修改和 meta 更新,并加入更强的固定流程搜索基线。现有五轮对照有价值,但尚未把所有机制拆开。

5. 有一处明显需要澄清的内部一致性问题。

第 4.3 节明确规定:Data-RSI 只修改数据,不改变部署行为,因此不是 capability-altering step。但表 3 中,单独 Data-RSI 也带来了平均 2.8 点的部署分数提升。

如果参数与执行框架都不变,新数据通过什么途径影响推理?若使用了训练、检索或上下文注入,就需要解释为何仍算“只修改数据”。Model-RSI 单独运行时的数据来源也值得补充说明。这影响单算子基线的可解释性。

6. 成本、统计和复现细节不足以完全支撑效率结论。

论文报告五个随机种子的均值,但主结果缺少误差条或置信区间;AIME 只有 60 题,GPQA 子集只有 100 题,更需要呈现波动。

此外,论文声明预算相等、meta 预算单独记账,但缺少足够具体的预算数值、实际消耗及总成本对比。因此,准确率提高有表格支持,把 meta 开销也算进去后是否更划算,仍不清楚。目标函数还包括成本、回退和评估差距惩罚,主表却主要呈现准确率。

7. 几条“定律”的表述强于证据。

我更倾向把它们看成设计原则或待检验假说:

  • 证据过期:系统变化后重新评估很合理,但旧数据不一定失效。禁止 (H → M) 是该框架的保守约定,未证明是所有自改进系统的必然限制。
  • 能力载体与成本:把行为从提示词迁移到权重可能节省上下文,但“单一载体优化必然增加推理成本”过强;替换、压缩提示词就可能构成反例。
  • 评估不可修改即可信:这是重要防线,但不能排除固定评估器的漏洞、代理指标偏差和反复适配。
  • 所有能力增益都来自外部:需要严格区分新信息、新知识和任务能力。搜索、组合与训练可以改善已有信息的利用方式,不能仅凭“没有新增知识”就否认能力提升。

这是一篇有启发性的自改进系统框架论文,工程设计的价值高于其宏观理论主张。最值得借鉴的是三种改进手段的协同、对改进策略本身的优化,以及评估权限隔离;最需要补强的是开放任务验证、模块消融、能力边界诊断和包含 meta 开销的成本证据。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询