企业官网建设流程全解析

StepBench：诊断AI智能体的真实世界过程式理解能力

原文网页：https://arxiv.org/html/2610.26679v1
PDF链接：https://arxiv.org/pdf/2610.26679v1
arXiv编号：arXiv:2610.26679v1 [cs.AI]

摘要
对开放域任务下智能体的规划能力开展评测依旧十分困难，很多场景无法通过实际执行来验证过程方案。现有评测大多只评估最终完整规划，无法区分各类过程式错误，例如步骤缺失、步骤错误、步骤顺序错乱。本文提出StepBench评测基准，数据集包含从wikiHow爬取并经过校验的6885条过程式任务，覆盖81个开放域类别。基于每一条原始过程，衍生出5项诊断任务：其中4项具备确定标准答案，分别对应步骤隐藏、错误步骤、步骤打乱场景；还有1项为下一步生成任务。同时还增加完整规划生成评测，用来研究诊断任务指标与端到端规划有效性之间的关联。
同一套底层过程样本复用在全部任务中，支持直接横向对比智能体不同维度的规划能力。针对生成类任务，本文配套StepEval评估组件，识别会直接阻碍目标完成的关键性失败。在12个模型的14种配置上开展实验，不同模型在各项规划能力上表现差异巨大；其中步骤重排序任务难度最高：最强模型也仅能把63.0%的过程恢复正确顺序；当过程包含9步及以上时，正确率下降至33.1%。错误步骤检测指标可以很好预测不同模型输出规划的整体有效性，这代表该任务可以作为低成本信号评估规划生成质量。
基于2026年新发布wikiHow文章构建StepBench‑Val验证集（214条过程样本），模型理解得分与排名保持稳定，证明基准受训练集记忆污染的影响有限。

关键词
智能体规划；过程式理解；StepBench；步骤重排序；错误步骤检测；规划评测；诊断式基准；StepEval

目录

1. 引言
2. 相关工作
3. StepBench数据集构建
4. StepBench五组诊断任务定义
   • 4.1 五项任务详细定义