☰
浙大Agentic空间认知评估框架:画出来而非报坐标
2026/10/30 5:49:03 网站建设 项目流程

浙大这次提出的 Agentic 空间认知评估框架,核心取向其实很明确:评测生成式模型的空间智能,不要逼它报坐标,而是让它把空间结构“画”出来。这个思路听起来简单,但它切中了一个实际问题——过去很多空间评测,测的根本不是空间能力,而是模型对答案格式和坐标公式的拟合能力。

如果你做的是多模态模型、生成式模型或 Agentic AI 相关的工作,这篇文章值得往下看。后面我会拆三件事:为什么“画出来”比“输出坐标”更接近空间认知的本质;一个 Agentic 评估框架应该包含哪些设计环节;以及如果要自己搭一套类似评测流程,从最小闭环到批量对比到底该怎么做。

需要先说明一点:原始资料里没有给出论文的完整实验数据和实现细节,所以下面更多是基于标题方向、公开讨论和通用评测实践做的方法拆解。落地时请以论文原版、代码仓库和你的实际环境为准。

1. 为什么逼 LLM 输出坐标,不是评测空间智能的合理方式

1.1 坐标是一种“符号化替身”,不是空间认知本身

LLM 本质上是一个文本生成模型。你让它输出坐标,它要先把空间关系翻译成数字序列,再按照某种格式写出来。这个过程里至少有三层噪音:

第一层是坐标系的定义噪音。同样的位置,用像素坐标、归一化坐标、相对坐标、世界坐标,结果完全不一样。模型可能空间理解是对的,但坐标系理解错了,评测结果就是错的。

第二层是数值生成的离散化噪音。坐标是连续空间里的离散表达,LLM 在生成数字时容易出现偏移、近似、数位错误。一个“大概在右下角”的空间判断,落到数字上可能是(0.8, 0.2),也可能是(0.6, 0.3)。差值多大算对?这本身就很模糊。

第三层是格式约束噪音。要求输出 JSON、要求保留两位小数、要求按特定顺序给点,这些格式限制会消耗模型的生成能力。模型可能把一半的“智力”花在满足格式上,真正用于空间推理的资源反而变少了。

所以,让 LLM 输出坐标,看起来精确,实际上把空间认知评测变成了“空间理解 + 格式拟合 + 数值回归”的混合体。评测结果一旦差了,你根本说不清是模型不懂空间,还是模型不会写数字。

1.2 生成式模型的强项是整体结构,不是数值回归

生成式模型,尤其是扩散模型和多模态生成模型,真正擅长的是生成一个整体结构:一张图、一个布局、一条路径、一组带有空间关系的对象排列。

你让它画一间卧室的俯视图,它能输出“床在右下、门在左下、窗户在左上”这种整体关系。你让它生成一张室内布局图,它自然地处理遮挡、比例和相对位置,而不用先把每个物体转成坐标再组合。

这就是“画出来”和“报数字”的本质区别:

  • 输出坐标要求模型把空间认知转译成符号,然后再转译回空间;
  • 直接生成空间结构,让模型用自己最擅长的表达方式呈现空间判断。

这个框架的判断依据应该在这里:与其在模型不擅长的输出通道上折腾,不如给它一个更贴近空间本质的输出通道。

1.3 两个评测路径的差异对比

我把两种评测路径的差异整理成一张表,方便对照:

比较维度强迫输出坐标让模型画出来
输出形式数字、坐标列表、JSON图像、布局图、草图、结构描述
主要考察能力数值拟合 + 格式遵循 + 空间理解整体空间感知 + 结构生成
噪音来源坐标系、精度、格式、token 化生成随机性、分辨率、评估器偏差
对生成式模型不自然,浪费生成能力自然,贴近模型的表达强项
结果解释数值误差好量化,但难归因结构相似度高,但需复杂评估器

这张表不是说要彻底放弃坐标输出。在需要精确量的领域,比如机器人抓取、自动驾驶轨迹规划,坐标仍然是必要接口。但作为“评测空间认知”的手段,坐标确实容易把简单问题搞复杂。

2. 空间认知评测真正难在哪个环节

2.1 空间任务不是一个任务,而是一族任务

空间认知这个词看起来具体,拆开之后范围很大:方向判断、距离估计、相对位置、遮挡关系、布局合理性、路径规划、旋转缩放不变性、三维到二维投影理解……每一种都是空间能力的一部分。

不同的空间任务需要不同的评测方法:

  • 判断“A 在 B 的左边”,可能是关系分类任务;
  • 估计“从 A 到 B 走哪条路最近”,是路径规划任务;
  • 给出一个复杂场景的俯视图,是空间重建任务;
  • 让模型根据文字描述生成室内布局,是生成任务。

如果你用一组坐标问答去评测所有空间能力,结果一定偏。因为问答只覆盖了语言层面的空间描述,覆盖不了生成层面的空间结构。这也是这个评估框架要区分任务类型的原因:先把空间任务拆成可生成、可判定的子任务,再针对每个子任务设计评测方式。

2.2 语言能力会污染空间能力评测

这是空间评测里最大的坑:模型可能根本不懂空间,但它看过大量相关文本,能“背”出答案。

举例来说,如果你问“客厅里沙发通常放在哪里”,模型回答“靠墙放、对着电视”,这不需要空间推理,只需要常识记忆。再问你“厨房里冰箱一般离灶台多远”,模型也能给出常见范围,但这仍然是语言先验,不是空间推理。

如果一个评测集设计成问答形式,那么语言能力强的模型天然占优。你测出来的分数,很可能是“语言知识 + 空间常识”的混合,而不是空间认知本身。

让模型画出来,这个污染会小很多。因为一个模型如果没有真正的空间结构理解,它很难画出一张位置关系合理的布局图。你可以临摹图片,可以复述文本,但不能凭空生成一个结构正确的空间输出。

2.3 单轮评测测不出多步空间推理

真实空间任务很少是一步到位的。人类在布置房间时,会先摆床,然后发现衣柜挡住门,再挪动位置。这个过程是“生成一个初步方案 -> 检查冲突 -> 修改方案”的循环。

传统评测往往只给一个输入,要求一个输出,跑完就打分。这测不出模型在空间推理上的自我纠错能力。而 Agentic 评估框架的价值就在这里:把评测从单轮问答变成多轮交互,让模型有机会根据反馈修改自己的空间输出。

修改的质量、修改的轮数、最终是否收敛,这些都是空间认知能力的信号。一个模型如果在多轮反馈后仍然保持错误的空间关系,说明它的空间表征不够灵活;反过来,如果它能根据一句“床把门挡住了”就把布局修正过来,说明它有真正的空间调整能力。

3. Agentic 评估框架做成什么样,才符合这个思路

3.1 任务层:让模型“画”出什么

既然是“画”出来,就要先定义画什么。我把常见的可生成空间任务分成四类:

  1. 布局生成:给定一个房间类型和物品列表,生成俯视图布局;
  2. 路径规划:给定起点、终点和障碍物,生成一条可行路径的图像或路径点序列;
  3. 空间关系可视化:给定一段描述,生成对应的物体位置关系图,比如“球在方块右边,方块在三角上面”;
  4. 遮挡与视图变换:给定一个三维场景描述,生成某个视角下的俯视图或侧视图。

任务设计时有一个关键原则:输出必须能被判定。如果输出是一张自由风格的油画,评估者很难判断空间是否正确。所以任务要限定输出格式,比如网格图、简化几何图形、标注好的 SVG 或结构化的空间描述。

这并不矛盾:我们允许模型用生成方式表达空间,但表达形式要足够规范,规范到能被评估器解释。

3.2 交互层:Agent 循环的输入、输出和反馈

Agentic 评估框架的核心是循环。一个基本循环可以拆成四个阶段:

  1. 任务下发:把空间任务描述发给模型;
  2. 模型生成:模型生成初始空间输出;
  3. 评估器检查:评估器判断输出是否满足空间约束,指出具体问题;
  4. 反馈修订:把问题和提示返回给模型,模型重新生成。

循环可以设置最大轮数,比如 5 轮或 10 轮。每一轮的结果都要记录下来,包括生成结果、评估器反馈、模型修订内容。这样最终的评分可以分成两部分:初始生成质量,以及在反馈下的修正能力。

需要特别注意的是反馈形式。不要给模型“太偏了、再想想”这种模糊反馈,而是要给可操作的空间约束,例如“窗户应在北墙中间”“床和门之间至少保留一条 0.8 米的通道”。反馈越具体,越能测出模型是否理解空间规则,而不只是服从指令。

3.3 评估层:三类打分方式怎么组合

评估器是整个框架里最容易做歪的部分。这里建议组合三类打分方式:

第一类是规则检查。凡是能写成硬性约束的,一定要写成规则。比如坐标是否在边界内、物体是否重叠、路径是否经过障碍物、相对位置是否符合描述。规则检查速度快、可复现,适合做第一层过滤。

第二类是视觉评估。对于图像输出,可以用多模态大模型辅助判断,比如检查生成布局里“床是否在右下区域”“沙发是否朝向电视”。但要注意,VLM 打分本身有偏差,同一个图换一种问法可能分数不同。所以 VLM 更适合做粗筛和人工抽检的辅助,不太适合单独作为唯一评分来源。

第三类是人工抽检。规则和 VLM 都可能有盲区,尤其是布局合理性和审美层面的空间协调性。保留 10% 到 20% 的人工抽检比例,能够防止评估器系统性偏差。

三类打分的权重取决于任务类型。硬约束多的任务,规则权重可以高一些;开放布局任务,视觉评估和人工权重可以更大。

3.4 为什么叫“Agentic”,而不是简单端到端评测

“Agentic”强调的是模型在评测过程中处于一个主动代理的位置:接收任务、生成输出、接收反馈、修改输出。它不是被动地答一道题,而是像一个智能体一样,在一个最小化的空间任务环境里行动。

这正好和最近的 Agentic AI 趋势对应。Agentic RAG 强调检索、推理、行动的多循环,Agentic 空间评估强调生成、检查、修正的多循环。两者在方法论上是相通的:不只看单步能力,更看多步协作能力。

所以这个框架的本质,不是换一种方式给模型打分,而是把空间认知评测从“静态测试”升级成“动态任务环境”。模型在这个环境里的完整行为轨迹,才是空间认知的评测对象。

4. 自己搭一套类似评测流程,可以按这个顺序来

4.1 第一步:定义任务和输出格式

不要一上来就做一大堆任务。先从一个小而明确的空间任务开始。

举个例子:让模型根据文字描述生成一张 8x8 网格俯视图,在网格上用几何图形表示物体位置。描述是“一个房间,门在北墙中间,床在右下角,窗户在西墙中部,书桌靠东墙”。

输出格式可以有两种选择:

  • 图像格式:模型直接生成 PNG 图片;
  • 结构化中间格式:模型先输出 SVG 或带坐标的布局描述,再渲染成图。

我建议先采用结构化中间格式。原因很简单:规则检查可以直接在结构化数据上进行,不需要做图像理解。等你把流程跑通,再增加纯图像输出任务。

4.2 第二步:确定评估器和阈值

针对上面的任务,评估器可以拆成三层:

  1. 硬规则:门是否在北墙中间区域?床是否在右下角?物体是否超出网格边界?
  2. 关系检查:床、门、窗户、书桌的相对位置是否和描述一致?
  3. 合理性检查:物体之间是否重叠?是否有明显不合理的布局?

每层都要预先设定通过阈值。比如硬规则全对算基础通过,关系检查达到 80% 以上算良好,合理性检查由人工或 VLM 给出通过或不通过。

阈值设定不要拍脑袋。建议先跑 20 条样例,看分布情况,再根据任务难度调整。太简单导致满分一片,或太难导致全部零分,说明阈值和任务设计不匹配。

4.3 第三步:先跑最小闭环

最小闭环是指:一个任务、一个模型、一个评估器,跑通一遍完整流程。

具体步骤是:

  1. 把任务描述发给模型;
  2. 模型输出结构化布局;
  3. 规则检查器检查硬约束,输出通过/不通过列表;
  4. 如果不通过,把具体问题反馈给模型,要求修订;
  5. 循环最多 5 轮,记录每轮结果;
  6. 最终输出评分和修订记录。

这一步不要追求评测规模,只看流程是否顺畅。最容易出现的问题有三个:输出格式解析失败、反馈信息不够具体、循环没有终止条件。先把这三个问题解决,再谈扩展。

4.4 第四步:再扩展到批量对比

最小闭环跑通后,才值得做批量。

批量要做的事情包括:

  • 准备评测集:建议至少 50 到 100 条样本,覆盖不同空间复杂度;
  • 记录每条样本的初始得分、修订轮数、最终得分;
  • 对同一个模型进行多次采样,取平均分,减少生成随机性影响;
  • 多个模型之间做横向对比时,保持相同种子、相同反馈策略、相同阈值。

这里要特别提醒:不要一上来就开大并发。先跑 5 到 10 个样本,确认日志、输出目录和评估器都没有问题,再逐步增加并发。很多评测流程在批量阶段出问题,不是因为模型不行,而是因为日志没有写好,出错了找不到原因。

4.5 需要的判断指标有哪些

评测结果不能只看单一分数,建议至少统计这些指标:

指标含义怎么判断
初始通过率模型第一轮生成就满足硬规则的比例越高说明基础空间能力越强
最终通过率经过多轮修订后通过的比例反映模型是否具备修正能力
平均修订轮数模型需要几轮才能收敛越少说明反馈利用效率越高
修订成功率收到反馈后下一轮有明显改进的比例衡量模型是否理解空间反馈
输出稳定性相同输入多次生成的得分方差方差越小越稳定
失败模式分布模型最容易犯哪类空间错误用于定位能力短板

这六个指标合在一起,比单一总分更有解释力。比如一个模型初始通过率高但修订成功率低,说明它能一次画对,但不太会根据反馈调整;另一个模型初始通过率低但修订成功率高,说明它基础生成一般,但空间学习能力不错。

5. 评测结果怎么读,边界在哪里

5.1 好的空间认知应该表现出哪些特征

如果你用上面这套流程测一个模型,什么样的结果才算空间认知好?我认为要同时看三个特征。

第一是旋转和缩放不变性。同一个空间描述,换成“门在右边”和“门在西墙”,模型的生成结果应该有一致性。如果模型仅仅因为换个说法就完全变形,说明它依赖语言表面模式,没有真正理解空间关系。

第二是相对位置的结构正确性。模型输出的坐标可能和标准答案有偏差,但只要相对位置正确,比如“床确实在门的斜对角”,就说明空间关系理解是成立的。相对位置比绝对坐标更重要。

第三是多轮反馈的改进能力。真正好的空间认知,能够在收到具体空间反馈后做出有效调整,而不是反复生成雷同的错误结果。如果模型在三轮反馈后依然犯同样错误,那它的空间表征很可能缺少结构化的修正机制。

5.2 常见的边界和误读

评测结果不能过度解读,这里有三个很容易踩的边界。

边界一是生成随机性。扩散模型和非自回归模型都存在采样随机性,同一个输入可能生成不同的结果。不要拿一次生成结果就下结论,要多次采样看分布。

边界二是输出分辨率和表达能力。模型只能画出它输出分辨率允许的细节。一个 16x16 的网格图和一个 256x256 的布局图,能表达的空间精度完全不同。评测时不同模型如果输出分辨率不一致,对比就不公平。

边界三是 VLM 评估器的偏差。多模态模型作为评估器时,可能对颜色、布局、物体大小有偏好。比如某些 VLM 倾向于认为居中的布局“更合理”,但这不代表空间正确。所以关键空间约束必须用规则检查兜底,不能全交给 VLM。

5.3 这个框架能解决什么,不能解决什么

“画出来”这个思路能解决的核心问题,是把空间推理和语言表达解耦。模型不再需要把空间理解先转成精确数字,而是直接用生成结构表达。这对于评测生成式模型的空间能力,确实比坐标回归更自然。

但它不能解决所有空间评测问题:

  • 它测的是“模型能不能生成正确的空间结构”,不是“模型能不能在真实环境里执行空间动作”;
  • 它依赖评估器的可靠性,如果评估器本身判断不准,整个框架结果都会失真;
  • 它更适合二维平面空间任务,对三维场景、物理交互、连续运动控制等复杂空间任务,还需要额外设计。

换句话说,这个框架是评测工具箱里的一件新工具,不是对所有空间评测问题的最终答案。

6. 真正落地时容易踩的坑和排查顺序

6.1 坑一:任务定义里的“画出来”被理解得太窄

有人会把“画出来”简单理解成“让模型输出一张图”,然后就真的只跑图像生成,结果发现评估很难做。原因是没有把输出格式规范好,也没有限定画布和表达规则。

正确做法是先定义清楚画布范围、物体表达方式、允许的坐标误差范围。可以用结构化中间格式降低解释难度,图像生成作为后续进阶任务。我在实际做评测时,永远先保证输出“可被规则解释”,再考虑“看起来更像真实场景”。

6.2 坑二:评估器本身不稳定

如果同一个生成的布局图,第一次打分 85,第二次换一种问法打分 60,那问题很可能不在模型,而在评估器。VLM 评估器对提示词非常敏感,哪怕只是把“床在右下角吗”改成“床的位置是否位于右下区域”,都可能产生不同结果。

解决办法是固定评估器提示词模板,并在正式评测前做一次评估器自检:准备一组已知正确和已知错误的样例,确认评估器能正确区分。如果自检都过不了,就不要拿这个评估器做正式评测。

6.3 坑三:Agent 循环没有终止条件

有些评测流程写好后,模型会反复修订,循环几十轮不退出。这可能是因为反馈信息太模糊,也可能是因为模型陷入重复生成。

解决办法其实不难:设置最大轮数,并监控“连续两轮输出完全相同”的情况。如果模型连续两轮没有产生有效变化,直接判定为修订失败,强制进入下一个样本。这样既保护了评测效率,也保留了“无法改进”这个重要信号。

6.4 坑四:样本量太小,结论经不起推敲

用 10 个样本就得出“模型 A 空间能力比模型 B 强”的结论,这在评测中非常危险。因为空间任务复杂度差异很大,不同样本的难度也不同。10 个样本里只要有 2 个偏简单,分数就会被拉高。

我通常建议一个最小规模的评测集不少于 50 个样本,并且要覆盖简单、中等、困难三个难度等级。如果做模型对比,还要求同一条样本对所有模型都跑一遍,而不是各自用不同的评测集。

6.5 通用排查顺序

如果评测结果异常,不要急着怀疑模型能力,按这个顺序排查:

  1. 先看输出解析:模型返回的内容能不能被评估器正确解析?格式飘移是最常见的问题;
  2. 再看规则检查器:检查器本身是否有 bug?边界条件是否覆盖?比如“左下角”到底算哪个范围;
  3. 再看评估器稳定性:用已知正确和已知错误的样例跑一遍自检;
  4. 再看日志记录:每一轮的输入、输出、反馈是否都完整保存?没有日志就很难定位问题;
  5. 最后才是模型本身:在多个轮次、多个种子下确认模型表现是否一致。

我在评测流程里踩过最多的坑,就是输出已经生成成功,但评估器解析失败,导致模型被冤枉成“空间能力差”。所以无论结论是好是坏,建议都先人工抽看 10 条原始输出和评估日志,确认整个数据链路没有断裂。

真要落地这套思路,我最想强调的还是那句话:先让评估器可信,再评价模型能力。评估器不可信,再好的 Agentic 循环也都是自嗨。

空间认知评测现在还很年轻,没有统一标准。像“让模型画出来,而不是报坐标”这样的方向,至少提供了一条值得尝试的路:让模型用它最擅长的方式表达空间,然后我们设计一套能看懂这种表达的评估器。如果你正在做模型评测相关的工作,不妨从一个最小任务开始,跑通闭环,再逐步扩展。你会发现,真正难的不是让模型画出来,而是怎么判断它画得好不好。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询