企业官网建设流程全解析

「能飞到目标≠能做物理交互」

目录

01 CrossFly 瞄准的两个缺口

02 CrossFly‑Agent：分层式 VLA 基线智能体

2.1 高层 VLM 规划器

2.2 低层 VLA 动作生成策略

2.3 训练方式与推理衔接

03 数据怎么造：重建场景 + 航路点驱动 + 子任务拆解

04 核心指标：交互就绪率 IRR

05 实验结果

5.1 控制变量对照：难点来自环境切换，不是轨迹本身

5.2 IRR 有效性验证

06 写在最后

无人机空中抓取、物理触碰这类交互任务，对飞行器的位姿有着严苛要求：仅仅飞到目标点位远远不够，距离、机身朝向都必须达标，否则搭载的机械手依然无法完成操作。

但现有的无人机交互导航基准，大多只考核是否抵达目标坐标；数据集也常将场景局限在纯室内或纯室外，缺少穿越门窗、连通内外空间的长连续轨迹，很难完整评估「导航到物理交互」的端到端链路性能。

浙大高飞团队联合微分智飞推出CrossFly基准，构建 23 个重建真实场景、合计 15263 条完整轨迹，覆盖室内、室外、室内‑室外跨域三类任务。

核心创新提出交互就绪率 IRR，专门衡量导航结束时刻无人机位姿是否满足后续物理操作条件，而不是只看有没有飞到点位；同时配套分层 VLA 智能体 CrossFly‑Agent 做基线验证。在未见跨域场景，即便性能最优的智能体任务成功率也仅 9.7%，直观反映跨环境交互导航这条赛道现存的能力鸿沟。整套仿真数据集、评测协议、基线代码全部开源。

图 | CrossFly 基准总览图：聚焦交互导向的无人机移动任务，包含多无人机本体、异构环境、照片级渲染、多样化目标物体，配套自动化数据流水线和分层 VLA 智能体

01 CrossFly 瞄准的两个缺口

现有空中交互导航基准有两个硬伤：

一是环境域割裂，室内、室外数据集各自独立，几乎不提供跨门窗建筑边界的连续长轨迹，光照、空间尺度、障碍物分布的剧烈跳变基本测不到；

二是评价指标错位，主流沿用 SR 成功率、NE 导航误差，只看是否进入目标区域，而空中抓取还要求合理距离、机身朝向，坐标达标但姿态歪斜、距离过远，机械臂依旧会失败。

"导航"和"交互"中间这一段终端状态质量，长期缺少标准化量化指标。

目前空中 VLA 基线大体分三类：通用机器人大模型（π0、GR00T‑N1.7）、面向空中的专用智能体（OpenFly‑Agent）、微调适配空中任务的开源 VLA（OpenVLA‑OFT）。

它们大多擅长单一域导航，遇到室内外来回切换性能明显下滑。CrossFly 正是瞄准这两个缺口，给出场景、数据、指标、基线一体化方案。

图 | 轨迹统计与场景多样性图：(a)场景类型与不同子任务数量指令分布；(b)轨迹长度、路径距离分布；(c)CrossFly 代表性环境场景

02 CrossFly‑Agent：分层式 VLA 基线智能体

长时序交互导航任务的指令往往很长、子任务数量多，单一端到端策略很难同时兼顾"高层语义决策"和"低层动作生成"。

CrossFly‑Agent 采用分层架构把这两件事拆开：高层规划管"该做什么"，低层策略管"怎么飞"。两部分独立训练，通过"语言子任务"这个接口解耦耦合——哪一层想换都能单独替换，不用重新训整套。

图 | CrossFly‑Agent 架构示意图：高层 VLM 规划器利用视觉上下文预测活跃子任务；低层 VLA 策略结合初始帧、近期观测生成 6‑DoF 飞行动作块，并预测交互触发信号

2.1 高层 VLM 规划器

高层规划器基于 Qwen3‑VL‑4B‑Instruct。输入包含全局语言指令、夹爪状态，以及一组五帧视觉上下文：初始帧、初始到当前之间均匀采样的三帧历史、当前帧。这五帧刻画了轨迹推进的任务进度，规划器据此输出当前应当执行的激活子任务。

需要注意分工边界：规划器只输出语义层面的子任务文本，不生成任何飞行动作。它负责把一条长指令拆成"穿过门进客厅、拿起茶杯、飞出院子"这类分段意图，让后续动作生成有了明确的阶段性目标。

2.2 低层 VLA 动作生成策略

低层策略以 QwenPi 为骨干，视觉语言主干用 Qwen3‑VL‑4B‑Instruct 初始化。输入为全局指令、高层预测的子任务、夹爪状态，加上三帧图像：初始帧、3 秒前的画面、当前帧。模型一次性输出一段连续的6‑DoF 飞行动作块（位置 + 滚转俯仰偏航），同时预测交互触发信号——该信号决定何时结束当前飞行段、移交下游的抓取/放置策略去执行物理交互。

2.3 训练方式与推理衔接

规划器和策略独立训练。规划器用语言建模损失在人工校验过的子任务标注上微调；策略用条件流匹配学习动作块，并额外叠加交互触发监督。核心机制：训练阶段给策略喂真值子任务，推理阶段则完全使用上层规划器的预测输出。这也意味着规划器一旦出错，会直接传导给低层动作，两级的错误会累计。

这里的设计取舍值得说明：分层拆解降低了单模型的训练难度，但引入额外的误差传递链路。论文在未见过场景测试中观察到，带高层规划的 CrossFly‑Agent 相比无规划的方法在室外套件把 SR 从 16.2% 提到 18.5%，说明子任务监督总体是正向收益，但提升幅度有限，也侧面反映跨域长时序导航本身很难靠单点改动大幅拉高。

03 数据怎么造：重建场景 + 航路点驱动 + 子任务拆解

整套数据基于手持 3D 扫描设备采集真实环境，产出 3D 高斯溅射、网格两种重建格式。流水线分三步：场景重建与标注、航路点驱动轨迹采集、子任务语义拆解。

先人工标注起点、中间途经点、终端交互点、转向点，绑定目标物体和自然语言指令；再用 Ego‑Planner 生成无碰撞参考路径，PD 控制器输出飞行指令在仿真内闭环运行；发生碰撞、无法抵达航路点的片段自动过滤，保证样本物理可行。轨迹采完后按航路点切出子任务片段，用初始帧和结束帧画面交给大模型生成每段子任务语义描述，经人工校验作为训练监督。

图 | 数据集构建流水线总览图：从点云重建真实场景，航路点标注，无人机仿真采集轨迹，组装 RGB 观测、无人机状态、任务标注，生成基准数据集

最终数据集包含 300 万帧、总飞行时长 160+ 小时、总里程 120km；其中跨室内‑室外轨迹占比最高，达到 51.2%。仿真底层基于 NVIDIA Isaac Sim，PhysX 处理飞行动力学、3DGS 负责照片级渲染，支持搭载 SO100 机械臂的四旋翼和类人手构型飞行机器人两类本体。

04 核心指标：交互就绪率 IRR

除了传统指标 SR 任务成功率、NE 导航误差、OSR 理想成功率，论文新增交互就绪率 IRR。

简单解读：只统计那些已成功抵达交互区域的片段，看其中有多少条轨迹的终端状态同时满足距离阈值、航向角度阈值。公式不完整罗列，阈值不是人工拍脑袋定的，而是用多套无人机本体做大量抓取仿真、最大似然拟合抓取成败得到的：最大允许距离 0.626m，航向偏角区间 [‑50.5°, 47.5°]。

关键点要厘清：IRR 的前提是已经抵达目标区域，它衡量的是"飞到之后适不适合交互"，不等于任务整体成功率。 就算 SR 很高，IRR 依旧可能很低——代表无人机只是凑到点位，但姿态、距离不达标，后续操作大概率失败。这个指标补上了导航和空中操作之间的评价空白。

05 实验结果

实验分见过、未见场景两大评测，采用场景级划分，同一场景全部轨迹要么归训练集要么归测试集，避免信息泄露。对比基线包含 π0、π0‑FAST、OpenFly‑Agent、OpenVLA‑OFT、GR00T‑N1.7，全部统一训练配置。

表 | 见过场景下各模型定量对比结果

见过场景里，CrossFly‑Agent 在室内、室外、室内‑室外全部套件拿到最优：室内 SR 23.5%、IRR 51.0%；即便是见过场景，跨室内‑室外套件 SR 也只有 19.8%，可见跨环境导航本身难度就很高。

表 | 未见场景下各模型定量对比结果

切到未见场景，所有模型整体跳水。CrossFly‑Agent 依旧第一，最难的室内‑室外未见套件 SR 仅 9.7%、IRR 只有 29.3%，其余基线跌到个位数。这里要客观看待：9.7% 不代表这套模型强，恰恰反证该任务整体水平极低、空间巨大。

指标边界提醒：SR 只代表抵达目标区域；IRR 是抵达后的终端姿态质量。就算 SR 接近 10%，其中也只有不到三成的轨迹位姿能直接交给下游抓取策略，真正能跑通完整"导航+抓取"闭环的样本会进一步缩水。

5.1 控制变量对照：难点来自环境切换，不是轨迹本身

一个疑问是：跨域任务变差，单纯因为轨迹更长、子任务更多吗？论文做了控制对照，把室内、室外、跨域三组匹配轨迹长度、子任务数量、指令长度后对比。

表 | 匹配轨迹统计特征下的性能对比表

控制变量后，室内 SR 23.64%、室外 25.28%，跨室内‑室外套件只有 10.98%。轨迹统计条件几乎一致，性能差距来自室内外切换带来的视觉、几何约束变化，并非时序长度或子任务数量造成。这直接证明跨环境切换是一项独立技术难点。

5.2 IRR 有效性验证

论文用抓取案例做定性验证：同一套 RL 抓取策略，直接复用导航输出的终端状态。满足 IRR 阈值的样本顺利抓取物体；违反距离或偏角条件的样本，同一策略直接失败。

图 | 抓取案例对比示意图：上方样本满足 IRR 全部条件，抓取成功；下方样本不满足 IRR 距离或航向约束，相同抓取策略直接失败

图 | CrossFly‑Agent 定性结果样例图，多条任务指令对应的执行帧序列

06 写在最后

CrossFly 的最大贡献不在于刷出多高的 SOTA，而在于修正无人机交互导航的评价逻辑：能飞到目标 ≠ 可以做物理交互。IRR 把导航终点的距离、朝向这些容易被忽略的终端状态变成可量化指标，同时提供大批量室内‑室外穿越的异构环境轨迹数据集。

从结果看，即便是分层设计的 CrossFly‑Agent，未见场景跨域任务成功率也只有 9.7%，说明异构环境下长时序、面向交互的空中移动仍是一个远未解决的问题。这套基准为后续研究提供了统一测试土壤，未来既可基于它继续改进 VLA 智能体，也可拓展端到端导航‑抓取闭环评测与故障恢复任务。

参考论文：

论文标题：BENCHMARKING INTERACTION‑ORIENTED AERIAL MOBILITY ACROSS HETEROGENEOUS ENVIRONMENTS

论文链接：https://arxiv.org/pdf/2610.18381

项目链接：https://bozhistudying233.github.io/CrossFly