企业官网建设流程全解析

第一部分 HoloAgent-0: A Unified Embodied Agent Frameworkwith 3D Spatial Memory

1.1 引言与相关工作

1.1.1 引言

如原论文所述，在数字环境中，LLM Agent通常遵循一个实用的执行循环：它们对结构化状态进行推理、调用软件工具、检查执行反馈，并修订后续动作 [1–5]

1. 将这一循环迁移到物理机器人上要困难得多，因为物理执行是连续的、依赖具身形态的、不确定的，并且受安全约束 [6–9]
2. 这种迁移暴露出一个具身性鸿沟：物理技能的行为方式并不像具有干净输入/输出类型、确定性输出、完整反馈或可逆副作用的软件 API
   比如，机器人可能因为空间记忆过时而导航到错误的房间，可能无法抓取已移动位置的物体，或者从运动控制器处只获得部分进度信息

因此，核心挑战在于系统层面：具身Agent需要一种执行抽象，使物理技能在长时间跨度任务执行过程中具有可组合性、可观测性和可验证性

近期的具身智能系统在物理智能体的多种能力模块上取得了进展，包括具有泛化能力的操作、空间理解、导航以及人形体运动控制

1. 视觉-语言-动作（VLA）、视频-动作（VA）以及全身动作模型为通用的操作与交互技能提供支持[10-19]；
2. 空间理解[20-26] 和VLN 模型[27-31] 支持在复杂环境中的导航；
3. 而运动控制模型[32-35] 则实现了多样化的具身运动

近期的具身多模态系统进一步探索了高层次的协同。例如，π0.5 使用一种双层推理过程，在生成低层连续动作之前先预测文本子任务[11, 36-38]

尽管如此，许多系统仍然将操作、导航、空间理解和运动控制视为专门的模块、模型层面的策略，或是松散耦合的智能体循环。它们缺乏一种物理执行接口来组合异构技能，将执行过程落地到持久的3D 记忆中，跟踪部分进展，并在具身失败时触发恢复

对此，来自的研究者提出了 HoloAgent-0，这是一套面向真实世界机器人部署的统一具身智能体框架。HoloAgent-0 并非用来替换底层策略模型，而是围绕 Embodied AgentOS 构建一个闭环工作流，用于组织异构机器人的各类能力。AgentOS 将自然语言指令转换为可执行的技能图，分配机器人资源、监控执行过程，并根据运行时反馈进行重新规划

该框架由三个紧密耦合的层组成

1. Embodied AgentOS 提供任务规划、调度、监控以及故障恢复；
2. 记忆层（Memory Layer）维护持久的空间落地（spatial grounding）和时间执行历史；
3. 技能层（Skill Layer）则将机器人的能力抽象为具有类型的动作，这些动作具有结构化输入、进度信号、故障模式以及可恢复性状态
   通过这一接口，AgentOS 可以组合专用后端，例如用于导航的HoloNavi、用于全身运动的 HoloMotion [35]，以及用于操作的 Holo-Brain [15]

这几层共同将云端推理、设备端执行、持久记忆与基于反馈的恢复连接起来，形成一个统一的具身智能体闭环

1. 一个用于物理机器人执行的 AgentOS 运行时
   作者将长时间跨度的具身任务执行形式化为一个系统组织问题，并提出 Embodied AgentOS，这是一种闭环工作流，用于将语言指令转换为可执行的技能图，调度机器人资源、跟踪任务状态，并根据运行时反馈进行重新规划
2. 具有空间和时间记忆的物理执行接口
   作者通过带类型的具身技能、空间与时间记忆以及运行时验证来组织机器人的能力
   该接口使异构技能可以进行组合，将规划过程扎根于持久的三维空间记忆中，在执行过程中保留任务历史，并支持监控与故障恢复
3. 真实世界部署与闭环评估
   作者在真实机器人硬件上实例化 HoloAgent-0，对其在 3D语义建图和长时序导航方面的性能进行定量评估，并通过定性方式展示其在真实部署环境下的闭环运动控制、目标搜索、跨机器人协同以及移动操作能力

1.1.2 相关工作

首先，对于从数字体到具身智能体框架

1. 数字化的 LLM 智能体已经在实践中收敛到一套常用的执行循环：它们在结构化状态上进行推理、调用工具、检查反馈、存储记忆，并据此修正后续动作 [1–5,52]。这一循环在纯软件环境中运作良好，因为工具通常暴露干净的输入与输出，观测也以文本、代码、网页或 API 响应的形式到达
2. 物理具身会削弱这些前提假设：机器人的动作在时间上展开，依赖于与具身相关的控制器和不确定的三维状态，并且可能部分失败或以不安全方式失败
   
   因此，一个具身智能体框架需要数字框架中很少提供的系统接口，包括持久的度量-语义记忆、对异构机器人技能的类型化访问，以及用于失败检测和重新规划的运行时监控
   
   现有的机器人中间件和近期基于 LLM 的机器人运行时为这一技术栈提供了重要组成部分。这些组成部分从 ROS2 中的类型化通信和模块化部署，到语言层面的任务解释、ROS action 或 service 生成、跨具身形态的技能库、共享状态以及模块化能力等一系列内容

HoloAgent-0 延续了从数字代理到具身代理的这一转变，但将整个框架聚焦于一个闭环的物理执行接口，该接口将基于指令的物理行为策略，与面向大规模语义落地的持久化 3D 场景理解相结合

其次，对于指令条件化机器人策略

1. 指令条件化机器人策略作为具身智能体的行为层，将语言层面的目标映射为可执行的物理动作
   
   任务与运动规划将符号化的任务结构与几何可行性相结合[6,7]
   而语言条件化机器人系统则利用语言模型来选择、排序或合成可执行的机器人行为[8,9,58]
2. 最新的具身多模态模型、视觉-语言-动作策略、视频-动作模型以及世界-动作模型，通过从大规模视觉、语言、视频和机器人动作数据中学习，进一步提升了泛化能力[10–13,16–19,36–38,59]
   
   这些系统提供了强大的行为策略，但许多仍然绑定于特定的动作表示、机器人平台或任务族；它们自身也不具备持久记忆、长时程推理或运行时恢复能力

因此，HoloAgent-0 将这些模型视为具身技能后端：它们负责执行关键物理行为，而AgentOS 则通过共享的命令/状态接口对其进行调度、监控其状态，并在失败时进行恢复

最后，对于3D 空间记忆与场景理解

1. 持久化的空间记忆为决策提供基础，用于确定具身技能应该在何处运行以及应使用何种场景语境。长时程指令往往会引用当前时间步中不可见的地点、物体、关系和变化
   
   经典的 3D 场景图将建筑组织为基于几何的实体与关系 [60]，而开放词汇映射和 3D 场景图方法则将语言查询与度量地图、稠密特征、目标实例或结构化空间关系相连接 [42,43,51,61–63]
   
   最新的具备 3D 感知能力的具身模型，进一步将显式空间先验或视角不变的空间表示注入到感知、推理与行动中 [14,18,25,26,64]
   语言引导导航是场景理解的一个典型应用：智能体必须将指令映射到具体地点、地标以及可通行路径，这一问题已在指令跟随和基于场景图的导航设定中得到研究 [39,65,66]
2. HoloAgent-0 在这些方向之上进一步发展，将 3D 表示用作一种可操作的记忆层：几何支持定位与可通行性判断，语义支持语言对齐与语义落地，场景图结构支持在物体层面与房间层面的推理
   
   结合具身技能接口，该记忆层使 AgentOS 能在导航、目标搜索、操作操控、记忆更新以及失败恢复过程中，将VLA 风格的行为模型与空间理解相融合

1.2 总控层具身 AgentOS：用于机器人执行的闭环运行时系统

Embodied AgentOS 是HoloAgent-0 中的运行时层，将自然语言意图转化为闭环的机器人执行。与其将语言模型视为一次性规划器，AgentOS 会维护任务状态、从记忆中检索空间上下文、调度技能调用、监控执行状态，并在观察到的结果与预期状态不一致时修订计划

• 如图1 所示，运行时通过ROS2 命令/状态总线连接AgentOS、记忆层、技能层以及监控/验证组件『即HoloAgent-0 通过 ROS2 命令/状态总线将具身 AgentOS、具身记忆以及具身技能连接起来，形成一个针对空间检索、技能图规划、执行监控、记忆更新以及基于反馈的重新规划的闭环』
  
• 图2 展示了该运行时所支持的代表性行为
  
  
  使用 HoloAgent-0 的典型闭环执行示例
  a) 基于提示的运动控制：执行并验证短时域的全身指令
  b) 主动目标搜索：探索环境、构建地图，并验证目标咖啡机的位置
  c) 跨机器人协作：在一台机器人执行舞蹈技能的同时为另一台机器人规划路径
  d) 长时域移动操作：将叠衣任务分解为导航、抓取与放置、运动以及操作等步骤

1.2.1 设计原则

HoloAgent-0 遵循四条设计原则，将语言-智能体循环机制适配为可靠的机器人执行：

1. 闭环优先
   AgentOS 将规划视为一个反复执行“观测–检索–行动–监控”循环的过程，而不是一次性的文本生成问题。通过这一循环，当某个技能失败、目标存在歧义，或在执行过程中环境发生变化时，系统可以对其计划进行修订
2. 以内存为中心
   持久化的空间与时间记忆为规划提供主要上下文
   AgentOS 并非只依赖当前的相机视角或对话上下文，而是在执行动作之前，会从记忆中查询房间、视角（views）、物体、姿态（poses）、当前激活的目标以及最近一次技能执行结果
3. 类型化技能接口
   机器人的能力通过带类型的、可监控的技能调用对外暴露，这些调用包含命令参数和状态事件
   该接口将高层任务推理与具体具身实现相关的控制器解耦，同时保留用于恢复所需的进度和失败证据
4. 默认具备可观测性
   运行时会记录并呈现命令/状态事件、检索到的记忆、状态转换以及技能结果，并通过用户反馈、日志和可视化进行展示
   这种可观测性有助于真实机器人调试，并为 AgentOS 提供验证或修订执行所需的证据

1.2.2 运行时层次结构与 ROS2 执行接口

AgentOS 通过四个功能层实现运行时循环，这四个层之间通过 ROS2 的命令/状态接口连接

• 命令主题（command topics）承载由 AgentOS 调度并发送到机器人能力模块的技能调用
• 而状态主题（statustopics）则返回进度、失败信息、传感器健康状况、检索到的上下文以及内存更新事件

该基于主题的接口使系统保持模块化：开发者可以替换单个模型或控制器，同时仍然保留长时程执行所需的闭环反馈路径

1. AgentOS 层
   AgentOS 层将每条用户指令转换为一个可执行、可监控的技能图。对于语音或文本指令，AgentOS 会解析请求，从记忆中检索任务历史和空间证据，并将指令分解为带有执行顺序、前置条件和恢复依赖关系的技能节点
   在执行过程中，调度器会派发已就绪的技能调用，消费状态反馈，并在当前计划失效时触发澄清或重新规划
2. 技能层
   具身技能层通过可调用的机器人能力来实现智能体的“身体”，这些能力包括交互、感知、导航、操作以及全身运动。每个技能都会消耗结构化的指令参数，并发布状态事件，如进度、成功、失败模式、置信度、延迟以及可恢复性
   技能接口使 AgentOS能够在不依赖各个后端内部架构的前提下，组合异构的机器人能力
3. 记忆层
   记忆层提供持久化的空间与时间记忆，并由规划、定位、感知以及跨实体协作模块共享
   空间记忆返回候选目标物体、可导航区域、场景图上下文以及定位假设
   时间记忆记录当前激活的目标和规划状态、执行与恢复轨迹，以及结果摘要
   执行结束后，记忆更新模块会将新的观测结果和技能执行结果写回对应的空间和时间记录中
4. 监控与验证层
   监控与验证层将原始执行证据转换为决策和反馈
   在部署阶段，它用于验证技能输出结果，向用户呈现文本或语音反馈，并为 AgentOS 的重新规划提供信号
   在开发阶段，它会记录 ROS2 bag、结构化日志、RViz 视图以及 Rerun 可视化结果，用于诊断在感知、记忆更新、规划和机器人控制等环节出现的故障

综合来看，这些层共同将 AgentOS 定义为一个闭环运行时环境，而非单一的规划器。下一节将详细介绍该运行时所调度与监控的、基于类型的技能接口

1.3 技能层：作为可执行动作接口的具身化技能(交互/导航/VLA/全身运控)

具身技能层构成了 AgentOS 规划与机器人硬件之间可执行的边界

HoloAgent-0 并不是让语言规划器直接生成底层控制指令，而是将机器人能力以带类型、可监控的技能调用形式对外暴露。一次技能调用只需指定机器人应当完成什么目标，由具身相关的后端决定如何执行，而运行时状态流则报告目标状态是否已经达成

通过这一接口，AgentOS 获得了一个稳定的动作空间，同时又允许基础模型、经典控制器以及混合系统在同一个 ROS2 命令/状态接口后端各自独立演进

1.3.0 类型化技能调用与运行时状态

作者定义了一个轻量级的执行接口，用于将机器人的各类能力封装为可带类型、可监控的技能调用。与纯软件工具不同，物理技能可能会部分失败、受具身约束限制，并且其反馈可能是延迟的或不完整的

因此，该接口不仅要指定发送给后端的指令，还需要明确预期效果，以及 AgentOS 在运行时用于验证、重试或重新规划的证据

1. 命令模式（Command schema）
   每个技能都会声明一个命令名称、带类型的参数、前置条件、目标引用以及预期效果，例如：move_to(room=kitchen)、pick(object=mug)，或 speak(text=...)
   AgentOS利用这些字段来构建技能图、绑定以记忆为基础的目标，并检查观测到的结果是否满足预期的后置条件
2. 运行时状态接口
   每个后端发布的是执行轨迹，而不是一个隐藏的成功标志。该轨迹会报告进度、成功情况、失败模式、置信度、延迟和可恢复性，使 AgentOS 能够区分已完成的技能，与被阻塞的、含糊不清的、不安全的或可恢复的执行
   这些状态事件将作为规划依据，用于决定是继续执行、重试、请求澄清、更新记忆，还是重新规划
3. 具身特定的后端
   通过学习到的策略、经典控制器或混合系统，可以在具体的机器人实体上实现同一技能接口的落地
   这种分离方式在不同的人形机器人、移动底盘和机械臂之间保持高层动作空间的一致与稳定，同时又允许每个平台依据自身的传感、驱动与安全约束，实现导航、操作、交互或全身运动等功能

带类型的技能抽象使得 AgentOS 的循环不依赖于任何特定的具体具身形式或模型检查点。AgentOS负责调度符号化的技能调用，而具身技能层则将这些调用落实到下文所述的具体技能族上

1.3.1 交互与感知技能

1. 交互技能
   作为面向用户的控制通道，语音接口将 ASR、对话状态和 TTS 封装为可调用的技能，如 listen 和 speak
   这些技能会返回转写置信度、澄清请求、用户确认、打断以及交付完成等状态事件，从而使 AgentOS 能够在任务意图或执行状态不确定时，将人类纳入闭环控制之中
2. 感知技能
   作为连接机器人观测与 3D 空间记忆的“落地”（grounding）通道，开放词汇感知（open-vocabulary perception）支撑了诸如检测（detect）、定位（localize）和验证（verify）等技能
   
   AgentOS 提供对象、区域或目标引用
   而感知后端则返回检测到的实例、置信度评分、视角证据、目标验证结果以及记忆更新触发信号
   导航和操作（manipulation）技能利用这些证据来进行目标选择和结果验证
   而记忆层则将其存储为对象观测、视图描述符或更新后的场景图（scene-graph）证据

1.3.2 空间导航与探索：HoloNavi

HoloNavi 在 HoloAgent-0 中实现了空间导航技能族。其输入包括语言级目的地、目标物体、前沿（frontier）目标以及目标位姿；其状态输出则用于报告目标可达性、定位置信度、路径受阻情况、验证失败情况以及探索进度。在内部，HoloNavi 通过分层物体导航、在线验证和前沿探索，将这些技能调用转化为可执行的导航目标

1. 分层物体导航
   给定一次 move_to 或 find 技能调用，大语言模型（LLM）首先将该请求解析为空间与语义相结合的结构化查询，例如楼层、房间以及目标物体等
   
   随后，HoloNavi 在 HMSG 上执行快速匹配，以检索候选房间、视角以及物体实例
   这个快速阶段使用分层的 CLIP 特征匹配，在进行代价高昂的视觉推理之前裁剪搜索空间
2. 在线验证循环
   快速匹配可能返回在视觉上相似但实际上错误的候选结果，尤其是在目标物体较小、房间名称存在歧义或记忆信息陈旧的情况下
   
   为优化目标选择，HoloNavi 将候选目标视图发送给VLM（视觉语言模型）进行视觉验证和慢速推理，这遵循了 FSR-VLN [39] 的快到慢推理设计
   如果VLM 在选定视图中确认了目标物体，HoloNavi 将计算该物体的中心位置，并将导航任务派发到这一经验证的目标上
   
   如果验证失败，系统会旋转机器人以采集周围环境的视图，重新运行目标检测和 VLM验证，并上报失败的候选结果，以便 AgentOS 在真正执行导航之前可以更新记忆或选择不同的子目标
3. 主动空间探索
   当当前的 HMSG 和在线视图都无法对目标进行定位时，AgentOS 不会在缺失状态下继续规划，而是会触发一个主动探索技能
   该触发信号可能来自未解析的房间或物体引用、对场景图检索的置信度较低、度量地图中的前沿区域，或者由陈旧记忆导致的在线验证失败

该探索技能根据候选视点的预期信息增益、与任务的语义相关性、可通行性以及安全约束对其进行评分，然后将选定的视点或前沿（frontier）路径发送给 HoloNavi 执行

1. 在每一步探索之后，该技能会向 AgentOS 报告新观测到的区域、尚未解决的目标以及行走/导航失败情况
2. 随后，记忆更新层将这些事件融合进几何记忆、语义实例以及受影响的 HMSG 子图中，使AgentOS 能够查询扩展后的空间记忆，并在更扎实的环境理解基础上恢复原始任务的执行

1.3.3 操作：HoloBrain

1. HoloBrain 是 HoloAgent-0 [15] 所使用的操作类 VLA 后端。在技能层，HoloBrain 实现了诸如 pick、place、open、handover、push 和 fold 等操作调用
   
   每一次调用都会融合来自 AgentOS 的任务意图、当前视觉观测、机器人本体先验，以及来自语义记忆的可选目标物体定位。在这一结构化上下文的前提下，HoloBrain 执行端到端策略推理，并输出可执行的单臂、夹爪或双臂动作，用于对象级交互
2. 作为一个受监控的技能后端，HoloBrain 上报的是执行证据，而不仅仅返回一个最终的成功标志。其状态流包含对象未找到事件、对象运动、抓取失败、不可达位姿、碰撞风险、策略置信度低以及用户确认需求等
   这些信号使 VLA 的执行可以被 AgentOS 运行时有效使用：失败会变成显式的规划证据，用于重试、更新感知结果、请求澄清或重新规划
3. 对于长时程的移动操作任务，HoloAgent-0 通过统一的指令/状态接口，将 HoloBrain 与导航和感知技能进行组合
   HoloNavi 首先将机器人带到与任务相关的区域或物体视角位置；随后，HoloBrain 基于当前观测和目标上下文执行局部操作技能
   
   如果该物体缺失、被遮挡、不可达，或需要采用不同的接近姿态，所上报的状态即可触发记忆检索、主动探索、导航重定位，或新的操作子计划
   这样的循环为在长时程操作示范中，将基于 VLA 的局部控制与任务分解及导航进行组合提供了一个实用接口

1.3.4 全身运动：HoloMotion

HoloMotion 在 HoloAgent-0 [35] 中提供类人机器人全身运动后端。它对外暴露参考轨迹跟踪、速度控制、姿态调整和恢复技能等能力，同时回报运动进度、平衡状态、接触风险、速度误差以及是否可进行恢复等信息

通过该接口，AgentOS 可以发出高层次的运动目标请求，而由后端负责底层关节控制

HoloMotion 支持两种执行模式

1. 在动作追踪模式下，人形机器人会跟随重定向后的示范来执行交互行为，例如挥手、鞠躬、握手或跳舞
2. 在速度跟踪模式下，它会根据给定的线速度和角速度执行行走、转向、停止和恢复等运动技能。这些技能将 HoloAgent-0 的能力从导航与操作规划扩展到物理上扎实的类人行为

通过同一套命令/状态接口，HoloMotion 可以与其他技能族进行组合。它将 HoloNavi 的输出转化为稳定的行走和转向指令，并通过调整躯干姿态、达到稳定的交互姿势或在接触失败后进行恢复来支持 HoloBrain。AgentOS 利用所上报的运动状态，当类人机器人的状态不再支持当前任务时，来决定继续、减速、重试、触发恢复或重新规划

1.3.5 通过共享接口实现跨形态协调

1. 技能执行接口还支持轻量级的跨形态协调
   异构机器人可以共享内存记录、带类型的技能调用以及状态事件，因此 AgentOS 能够在不暴露各自底层控制器的前提下，将同一任务的不同部分分配给不同的实体执行
2. 所有具身体都将观测结果、检测结果、地图更新以及技能执行结果写入同一个分层的三维记忆中，每一次更新都会用空间证据、时间上下文以及报告该信息的具身体进行标注
   因此，AgentOS 在为某个机器人进行规划时，可以复用另一个机器人所取得的发现，例如先利用一个移动底盘机器人来填充候选目标物体的位置，然后再由人形机器人前往这些位置抓取并操作这些物体
3. AgentOS 会根据能力、位置、可用性以及安全状态，将每一次任务级技能调用绑定到一个具体的具身实体
   在执行过程中，共享状态事件会报告位姿、传感器健康状况、当前激活的子目标、执行进度、失效模式以及可恢复性，从而使 AgentOS 能够协调并发执行、避免工作空间冲突，并在某个机器人发生阻塞时移交责任
   通过这种机制，系统是通过共享内存、带类型的技能调用以及可观测的状态事件来组合多个机器人，而不是依赖一个单独的控制器

1.4 记忆层：具身智能体的空间与时间记忆

记忆层为 HoloAgent-0 提供空间和时间记忆

1. 空间记忆将传感器数据流转换为可持久化的 3D 世界表示，Embodied AgentOS 可以针对该表示执行语义落地、定位、导航和操作等查询
   该表示包含几何、拓扑与占据信息；机器人的位姿与定位信息；开放词汇的 3D 语义地图；以及用于房间级、视角级和对象级推理的分层多模态场景图（HMSG）
2. 时间记忆记录在 AgentOS 循环过程中产生的不断演化的目标与规划状态、执行与恢复轨迹，以及结果摘要

对于一个任务查询，记忆层会返回候选的位置、对象、位姿、任务历史以及最近的执行证据。任务执行结束后，它会更新受影响的空间记录和时间轨迹

// 待更