最近社区里热度很高的一个话题,是某个开源 Agent 框架在 ARC-AGI-3 上刷出高分,随之而来的 RLM「自我改进」机制和 harness 设计也引发了大量讨论。有人觉得这是通用智能的转折点,也有人认为这不过是「用 harness 在基准测试上做工程优化」,不能说明模型真的变聪明了。其实两边都有道理,关键是我们得先把 ARC-AGI-3 到底考什么、harness 在 Agent 工程里承担什么角色、RLM 的自我改进是怎么工作的讲清楚,再回头评价这个分数有多大的参考价值。
本文不打算替任何一方站队,而是从工程视角把整件事拆开。你会看到 ARC-AGI 系列基准的演变逻辑、harness 在 Agent 开发和 agent 框架中的核心地位、RLM 自我改进循环的基本原理,以及这套东西为什么在评测公平性上存在争议。最后我会给一个可以直接跑起来的 Python 最小 harness 示例,包含程序合成、验证器、搜索循环和「自我改进记忆」,让你把概念真正落到代码上。
1. ARC-AGI-3 刷榜事件背后的三个关键词
1.1 从 ARC-AGI 到 ARC-AGI-3
ARC-AGI(Abstraction and Reasoning Corpus)是 François Chollet 提出的一组抽象推理基准,它的测试形式很特别:每个任务会给你几个「输入网格到输出网格」的示例,要求你推断出背后的变换规则,然后把它套到新的测试网格上。网格通常非常小,里面只有不同颜色的色块,但规则可能是旋转、翻转、填充、对称、计数等等,几乎没有语言先验可以依赖,所以它被设计成用来衡量「流体智能」而不是「知识记忆能力」。
ARC-AGI-1 时代,很多大模型在随机猜测线附近挣扎,直到有人发现「让模型生成大量候选变换程序,再用程序合成 + 验证器搜索」的方式可以把分数拉到很高。ARC-AGI-2 在 2025 年前后发布时,官方明显针对这种暴力搜索做了加固,任务更难枚举、更难猜,很多旗舰模型直接回到个位数甚至接近随机水平。再到 ARC-AGI-3,延续了二代的设计思路,进一步压缩随机猜测的得分空间,并且加入了更多需要组合推理、多重变换和抽象归纳的任务。需要说明的是,ARC-AGI-3 的具体评测规程和防作弊规则,请以 ARC Prize 官网最新发布为准,网上流传的很多分数截图并不包含完整的算力预算和提交说明。
1.2 模型、Agent、harness:先分清楚三个概念
很多刚接触 Agent 开发的同学会把「模型」「Agent」「harness」混为一谈,这是理解后续所有