企业官网建设流程全解析

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间
猫先生
从零走向AGI
面试面经

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

2018 年 CVPR Spotlight 论文《Vision-and-Language Navigation》提出了Room-to-Room（R2R）：智能体身处一栋此前未见过的真实建筑，只有第一视角视觉观察和一段自然语言路线说明，需要自己判断该移动到哪里、何时转向、何时停止。它也由此确立了今天常说的Vision-and-Language Navigation（VLN）任务。

R2R 的影响不只是一份路线数据。论文同时给出 Matterport3D Simulator：以 90 栋真实室内建筑、10,800 个全景视点和 194,400 张 RGB-D 图像构成可复现实验环境；在其上收集 7,189 条路径、21,567 条众包指令。每条指令平均 29 个词，要求跨多个房间完成导航，而不是在单张图里回答一个对象或颜色问题。

基线模型在当时并不复杂：ResNet-152 提取当前图像特征，LSTM 编码指令，再由带语言注意力的 LSTM 解码器输出六个离散动作。重要的发现反而是它的失败方式：student-forcing 在已见验证建筑中成功率为 38.6%，在未见建筑中降到 21.8%，测试集仅为 20.4%。R2R 把“看懂语言”推进成了开放环境中的感知、记忆、规划和停止决策，也把泛化问题放到了台前。

猫先生认为，R2R 最持久的贡献是给“按语言行动”设定了一个足够干净、却不轻松的最低门槛：图像来自真实建筑，行动会改变后续观察，目标环境必须未见过。后续 VLN、具身问答、VLA 与世界模型研究，都能在这里找到一个早期的任务原点。

• 论文标题：Vision-and-Language Navigation: Interpreting visually-grounded navigation instructions in real environments
• 论文地址：https://arxiv.org/abs/1711.07280
• 项目主页：https://bringmeaspoon.org
• Matterport3D：https://niessner.github.io/Matterport/

原文脉络

论文先将 VLN 与视觉问答并列，说明两者都可视作视觉落地的序列到序列转换，但 VLN 的输出会改变相机位置。随后介绍真实图像驱动的 Matterport3D Simulator；第 4 节定义 R2R 的任务、采集流程、数据划分和指标；第 5 节给出 Seq2Seq 导航 agent 与两种训练方式；第 6 节用 Seen/Unseen 的差异衡量泛化，最后总结模拟器和数据集的边界。

1-2. 从视觉问答到移动视角：为什么导航不能只看一张图

早期语言导航常在合成环境、标签化世界或视觉受限的场景中进行。这样的设置容易复现，却把“语言如何对应真实、开放视觉世界”的难题提前简化掉了。R2R 要求模型面对的每一张观察都来自真实建筑，墙面纹理、家具、光照和空间布局没有被手工限定为一个小词表。

图 1：R2R 任务样例。智能体在真实建筑视图中读取多步路线语言，蓝色圆盘表示当前可达的离散导航位置。

图 1 中的指令包含“上楼”“经过钢琴”“穿过拱门”“在走廊尽头右转”“在鹿角旁停下”等连续约束。模型必须把词语指向画面中的物体和空间关系，同时将自己的移动历史保留下来；“钢琴”已经经过、“拱门”尚未出现，都会改变当前动作的含义。

图 2：论文将 VLN 与 VQA 对比。两者都把语言和视觉编码成序列，但 VLN 输出的是会改变后续相机视角的动作序列。

VQA 通常从固定图像和问题生成一段文字答案；VLN 则在每个时间步选择动作，动作又决定下一帧看见什么。这造成两层困难：一是部分可观测，模型不能只凭当前帧知道自己位于路线的哪一段；二是误差会积累，早期选错门或转错方向，后面即便“看懂了”也可能回不到正确路径。

3. Matterport3D Simulator 与 R2R：把语言、视角和可达路径连起来

3.1 用真实全景图搭建可复现的建筑环境

Matterport3D 提供 90 个建筑尺度的真实室内场景。每个场景由密集采样的全景 RGB-D 视点组成，平均相邻视点距离约 2.25 米。R2R 没有直接让 agent 在连续三维空间中任意滑动，而是把每个全景视点作为图上的节点，把可通行关系作为边。

图 3：一层建筑局部的导航图。蓝线连接可通行全景视点，楼梯连接不同楼层；模型只能在当前可见方向上的邻接视点之间移动。

这种离散化并非只为降低计算量。它保证 agent 不会穿墙，也避免不同方法因连续物理引擎细节而难以比较。每一步，模拟器给出当前 RGB 观察和下一步可达视点集合；图的边长代表直线距离，超过 5 米的边会被移除，并人工检查网格缺失导致的错误连通。

原始环境仍保留相机朝向和俯仰。为了建立第一个易比较的基线，作者将模型动作进一步简化为left、right、up、down、forward、stop六类：转向和俯仰各为 30 度，forward前往视野中心方向最近的可达视点。这个动作空间比今天常见的候选视点打分更粗糙，却把“显式停下”变成了任务的一部分。

3.2 R2R 数据：路径不是唯一答案，抵达目标才是

数据采集从导航图中选择起点与终点，保留长度至少 5 米、边数为 4 至 6 的最短路径。得到的 7,189 条路径平均长度约 10 米；每条路径由众包标注者写出三条说明，因此总计 21,567 条指令。标注者能沿给定路径飞行浏览，也能在每个视点环顾四周，但被告知不必逐边复刻演示路线，只要让机器人到达相同目标即可。

指令平均 29 个词，词表约 3.1K 个词，但不同标注者对同一路径的表述抽象层级差异很大：有人报出显著物体和门口，有人只说“穿过房间后右转”。因此，R2R 测量的不只是空间几何匹配，也测试模型能否在语言粒度不一致时维持正确的路线进度。

这项规定很关键。R2R 评测不要求 agent 轨迹与某一个文本作者完全一致，因为自然语言路线本来就存在多条等价走法。最终位置距离目标小于 3 米即为成功；同时报告 oracle success——只要 agent 走过离目标最近的位置就算成功——用来把“走近目标”与“识别何时该 stop”分开。

训练、验证和测试按建筑划分，而不是将同一栋房子的路线随机分走。61 个场景用于训练和 seen 验证，11 个场景形成 val unseen，18 个场景和 4,173 条指令保留为测试。这使模型必须面对新的家具组合、新的房间拓扑和新的视觉外观。

猫先生认为，R2R 的数据设计比“把路径当标准答案”更成熟。它承认导航目标与唯一轨迹不是一回事，也把 Stop 从一个实现细节提升为评测对象；这两个选择后来深刻影响了 VLN 的成功率、路径长度和 oracle 指标体系。

3.3 Seq2Seq agent：语言注意力与历史记忆如何决定下一步

作者的基线由两部分组成。指令编码器 LSTM 顺序读取单词，并把得到的隐藏状态序列作为语言上下文；解码器 LSTM 在每个时刻接收当前 RGB 图像的 ResNet-152 特征和上一步动作嵌入。解码器对语言隐藏状态做 attention，选出与当前决策更相关的词，再预测下一个动作分布。

形式上，当前动作依赖指令x 1 : L x_{1:L}x1:L​、观察o t o_tot​和历史：

p ( a t ∣ x 1 : L , o ≤ t , a < t ) . p(a_t\mid x_{1:L},o_{\leq t},a_{<t}).p(at​∣x1:L​,o≤t​,a<t​).

这个条件写法说明了导航和单帧分类的区别。模型需要记住已走过的方向、已消耗的语言片段和此前的视觉证据，才能判断“右转”是刚刚要做，还是已经完成。论文只使用语言 attention，尚未加入显式视觉 attention；作者把后者留给后续研究。

训练时，teacher-forcing 始终把真实上一步动作喂回模型，因此状态只沿最短路径展开；student-forcing 则从模型自己预测的分布采样动作，再从当前位置计算通往目标的最短下一步作为监督。这相当于让模型在训练中接触自己会造成的偏离，缓解测试时从未见过错误状态的 exposure bias。

4. 实验：Student-forcing 有效，但未见建筑仍是主要难关

论文报告四个指标：轨迹长度（Trajectory Length）、终点到目标的导航误差（Navigation Error）、3 米内成功率（Success）与 oracle success。后一个指标将 agent 经过目标附近但未停下的情况单独识别出来。

在 val seen 中，student-forcing 的成功率为38.6%，明显高于 teacher-forcing 的 27.1% 和随机策略的 15.9%；其导航误差也从 8.01 米降到 6.01 米。到 val unseen，student-forcing 成功率降为21.8%，测试集为20.4%；人工在测试集上的成功率则为 86.4%。这组差距说明任务语言并非无效，人类确实能依图行走，但模型从已见建筑学到的视觉落地很容易绑定到训练环境。

图 4：student-forcing 的 seen 验证曲线持续改善，unseen 验证的导航误差和成功率却较早平台化；训练继续进行时，泛化鸿沟仍在扩大。

图 4 直观呈现了这种过拟合。即便使用 dropout 和权重衰减，模型在训练建筑及 seen 验证建筑上的损失和成功率继续变好，unseen 曲线却很早停止改善。论文的结论十分克制：Seq2Seq 可以作为可行基线，但常规视觉语言训练技巧不足以让 agent 在未见环境中可靠行动。

从今天回看，R2R 的早期基线不应与后来的 Transformer、预训练视觉模型或大规模导航数据直接横比；它的价值在于首次把这一差距量化出来。后来的路径规划、跨模态预训练、环境记忆、数据增广和指令重写，很多都可以视为对图 4 所揭示问题的回应。

5. 局限：真实图像不等于真实机器人世界

Matterport3D 以真实照片提高了外观多样性，但并非没有偏差。论文坦承其建筑多为整洁、富裕的居住空间，人物和动物很少；采样视点往往视野开阔，也未必是实体机器人实际会处于的位置。另一个边界是离散节点和固定相机运动：它适合高层路线决策，却不覆盖避障、连续控制、动态人群和接触操作。

R2R 的语言也缺少交互式消歧。现实导航者会追问“是哪扇门？”、借助手势或请求重述，而此基准要求单次读取指令后独立完成。因而 R2R 更准确地说是语言条件下的视觉导航基础测验，而不是完整的人机协作导航。

总结：R2R 留下的不是一套模型，而是一道泛化题

R2R 将语言、视觉和动作放进了同一条闭环：语言指向场景线索，动作改变观察，Stop 决定任务是否完成。它带来的三点遗产仍然清晰：

1. 真实建筑的可复现环境让 VLN 不再依赖合成纹理或对象标签；
2. 按建筑划分的 unseen 评测把环境泛化变成核心指标；
3. 目标成功与 oracle success 的分离提示研究者，接近目的地和知道何时结束是两种能力。

今天的具身智能模型比 2018 年的 LSTM 基线强得多，但“听懂一段说明后，在从未见过的空间里稳健行动”依旧没有被彻底解决。R2R 的意义正在于，它很早就让这个难题有了可比较、可复现、也不容易被单一分数掩盖的形式。

推荐阅读

► 技术资讯： 魔方 AI 新视界

► 项目应用：开源视界

► 技术专栏： 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列