企业官网建设流程全解析

Human2Sim2Robot 范式升级，一条视频=海量训练数据？

——把整套流程交给智能体调度

目录

01 DexAgent完整技术链路

阶段一：语义理解

阶段二：基于属性的仿真重建

阶段三：机器人轨迹优化

阶段四：机器人数据生成与增强

自演进工具库机制

02 仿真与真实机器人实验

03 写在最后

多手指灵巧手的机器人训练，高度依赖大量高质量机器人实操数据，真机采集成本高昂、风险高。

Human2Sim2Robot范式，也就是从人类视频迁移到仿真再到机器人，是降低数据获取成本的重要路径。但现有方案大多是固定流水线，刚体、铰接物体、可变形物体需要完全不同的重建与运动生成逻辑，长时序多子任务场景很容易发生错误传播。

斯坦福大学李飞飞团队提出DexAgent智能体式框架：

• 抛弃固定处理流水线，改用智能体驱动模式；
• 每一步根据物体属性调用工具库技能，新增能力自动沉淀入库；
• 每个阶段配置对应校验器，不满足物理和任务约束就迭代重试，阻断错误传播；
• 单条人类视频经过仿真增强，产出大量多样化机器人轨迹，供给灵巧手策略训练。

基于这套数据训练的灵巧手策略，在11项真实世界任务上，成功率达到对比基线的3.5倍。

▲图 | DexAgent 系统总览：由单条第一人称人类视频与任务提示作为输入，借助自演进工具库产出仿真机器人演示数据，真机完成 11 项灵巧操作任务验证

01 DexAgent完整技术链路

整套框架分为语义理解、基于属性的仿真重建、机器人轨迹优化、机器人数据生成四大阶段。

每个阶段都拥有对应的技能集合与校验器；执行不通过就迭代优化，达到最大轮次则标记任务失败，不向下传递劣质输出。

技能、校验器都保存至自演进工具库，后续任务可以直接复用。

▲图 | DexAgent四阶段完整处理流水线示意图：语义理解、仿真重建、机器人轨迹优化、仿真数据增强生成

阶段一：语义理解

输入是人类第一人称RGB视频与自然语言任务提示。

依靠大视觉语言模型VLM，先解析任务涉及物体，推理物体属性：刚体、铰接物体还是可变形物体；

再把长时序任务拆解为若干个子任务，明确每个子任务的作用物体、使用哪只手、子目标。

输出一份结构化JSON记录全部信息，为后面重建、轨迹生成提供目标依据。

框架可以调用库内辅助技能，比如深度估计、人体姿态提取，辅助确认物体属性，不单纯依靠视频画面直观观察。

阶段二：基于属性的仿真重建

依据上一阶段输出的物体属性，调用工具库内重建技能。

如果库中已经存在对应类别重建技能，则直接调用；没有则生成新的参数化重建函数，同时配套对应的校验器。

不同物体校验标准不一样：

刚体校验轮廓、尺度、稳定性；铰接物体校验关节、转轴、运动范围；可变形物体校验拓扑结构。

▲表｜HOI4D数据集物体重建精度统计表，刚体与铰接物体分别采用F‑5、F‑10 F值与Chamfer距离CD做评测

新生成的重建技能必须做泛化测试，生成3个变体物体全部通过校验，才允许存入工具库，避免工具过拟合某一个样本。

重建完成后，优化仿真内物体掩码和视频掩码IoU，确定物体初始位姿，把物体、机器人一并部署进仿真环境。

阶段三：机器人轨迹优化

针对拆解后的每一个子目标，提供两条生成路径：人类运动引导优化、代码生成式运动。

智能体根据物体与子任务属性自行选择。以人类视频提取的手物交互作为先验做轨迹优化；也可以直接调用代码生成运动。

生成轨迹之后，调用仿真校验器验证接触、运动可行性，不达标就迭代调整，校验全部通过才进入下一阶段。

阶段四：机器人数据生成与增强

单条合格轨迹并不会直接结束，在仿真环境内对物体初始位姿、机器人初始状态做域随机化，生成大量变体轨迹；同时对仿真渲染画面做纹理重绘，做sim‑to‑real图像增强，产出丰富数据集，用来训练灵巧手机器人策略。

自演进工具库机制

工具库存储两类核心组件：技能Skill、校验器Verifier。二者都是可复用Python函数。

开发出新技能不会直接覆盖旧版本，而是fork出新副本保存。每处理一段人类视频，只要产出新的可复用技能、校验器就入库。随着处理视频越多，可调用工具越丰富，后续任务处理开销持续下降。

02 仿真与真实机器人实验

实验覆盖11项真实灵巧操作任务，任务类型包含刚体、铰接件、可变形物体，任务包括开瓶子、剪刀裁剪、礼物盒打包、打结、多杯抓取、电脑装机等。

▲图 | 刚体、铰接件、可变形物体交互样例

基线选用Do‑as‑I‑Do、EgoInfinity等同类Human2Sim2Robot方案。主要评测指标为真机任务成功率。

▲表 | 消融实验统计结果，分别验证阶段校验机制、自演进工具库对任务成功率、处理耗时带来的影响

使用DexAgent生成数据训练的策略，整体任务成功率达到最优基线的3.5倍。

在铰接物体、可变形物体这类传统流水线容易失效的任务上，优势被进一步放大。

消融实验证实：去掉校验迭代机制，错误会不断向后传递，任务成功率出现大幅下滑；关闭自演进工具库，每个任务都从零开发技能，处理耗时成倍上涨。

▲表 |十一项任务的真实世界回放成功率。每条转换轨迹采用开环执行，指标用于评估轨迹转换效果而非学习策略。一项任务十次回放试验只要至少一次成功即标记为成功。GPT‑6:Astra 在第一轮评估后才加入基准测试

▲图 | 多类别物体仿真重建可视化效果，包含刚体、铰接物体、可变形物体重建结果对比

03 写在最后

DexAgent看到了现有Human2Sim2Robot方案的一个核心痛点：固定的流水线很难应付五花八门的物体类型与长时序子任务，一步错就步步错。

它把整套流程交给智能体调度。

通过四阶段带校验的处理链路拦截错误，搭配可以不断沉淀复用的自演进工具库，从单条人类第一人称视频批量产出仿真训练数据。

但它的自演进是工具函数库的沉淀，不是大模型权重自主迭代；同时受限于VLM能力、人‑机器人本体形态差异、仿真实机域差，并不是任意一条人类视频都可以直接转化成可用机器人策略。

Ref：

论文标题：DexAgent: An Agentic Human2Sim2Robot Framework for Dexterous Manipulation with Self‑Evolving Tool Library

论文链接：https://arxiv.org/pdf/2609.35318v1