企业官网建设流程全解析

做机器人操作实验时最烦的一件事，就是给任务设计奖励函数。特别是视觉类任务，从高维像素里判断“现在到底成没成”“动作偏没偏”，既考验手工特征又考验直觉。后来我们换了个思路：先让模型学会预测下一帧画面，再用预测结果去指导动作。这就是本期要聊的 Video Prediction Policy 2 的核心思路——把“看得懂未来”和“做得出动作”拆开，先解决前者，后者反而更简单。这个方向适合正在做视觉强化学习、机器人模仿学习、离线演示数据复用的朋友，也适合那些对“奖励难设计”已经忍了很久的人。

我在这条路上踩了不少坑，也把能跑通的路总结出来了。这篇不拖泥带水，直接从动机讲到模块搭建，再对比三种从预测到动作的落地方式，最后分享实测中的坑和消融评估方法。

1. 从预测到决策：为什么先学会“看未来”反而让动作更容易

1.1 奖励函数难设计，本质是“状态好不好”难定义

强化学习绕不开奖励设计。稀疏奖励场景里，任务成功后给 +1，其余全是 0，算法很长时间学不到东西；稠密奖励又容易把工程师的偏好写进去，比如“离目标近一点”这种手工势场，很容易让策略钻空子，在中间某个位置来回晃荡，却拿不到最终成功。

这种情况我们内部已经不叫“调奖励”，叫“训奖励工程师”。一个项目百分之四十的时间花在调整奖励权重、修改距离度量、处理奖励尺度上，最后训练出来的策略换个场景就失效。因为手工奖励本质上是对“任务目标的强假设”，而这个假设往往不够准。

视频预测策略想绕开的正是这一步。它不依赖任务奖励，也不依赖人工定义的目标距离，而是学习一种通用的视觉动态规律：给定当前观察到的一帧或多帧图像，再给定一个动作序列，模型尝试预测未来画面会变成什么样。这个学习过程是自监督的，不需要标注，只需要大量“图像-动作-下一帧图像”这样的时序数据。预测得准，模型内部就会隐式编码很多任务相关的信息，比如物体朝向、手爪位置、移动趋势。

1.2 “可想象未来”的模型，天然适合做规划

人类做操作任务时，心里会先预演一下：我这么推过去，杯子会不会倒？手往下伸，能不能抓到？这就是隐式的前向模型。机器人如果也具备这种“预演能力”，就可以在真实执行之前筛选动作序列，留下最合理的那一条。

从决策角度看，这种能力比直接端到端映射“图像到动作”更稳健。普通端到端策略学到的往往是“看到这个状态，做这个动作”的直接关联，一旦状态分布偏离训练数据，策略就会不知所措。但预测式模型预先构建了环境动态的抽象，相当于在数据集之外多了一层“物理常识”，即使遇到没见过的状态组合，它也能根据预测结果判断“下一步大概会发生什么”，这种泛化能力是单纯行为克隆很难做到的。

在我们自己的模拟装配任务里，效果还挺明显的。端到端策略遇到一个没见过的零件干涉角度，失败率直接上升；而预测驱动的策略会在预测阶段就显示出“推过去会卡住”的迹象，从而避开危险动作。所以“预测得更好，行动得更好”不是一句口号，而是流程上的必然结果：预测模型的质量上限，决定了策略决策的上限。

2. 视频预测模块的搭建细节：从数据处理到损失函数

2.1 数据从哪里来：别小看“图像和动作的同步问题”

视频预测策略的第一步不是搭网络，而是整理数据。大多数人以为只用拿一堆视频就行，忽略了一个关键：每个视频帧必须对应一个动作向量。这个动作向量可能是机械臂的关节角速度、末端执行器的位姿增量，也可能是方向盘转角这类低维控制指令。

最容易出的问题就是时间戳不同步。有些公共数据集录制时，相机帧率是 30Hz，控制指令记录频率是 50Hz，没有插值对齐，模型训练时就相当于拿“上一时刻的动作”去预测“下一时刻的画面”，对不齐的后果直接就是预测模糊。我们当时的解决办法是，对动作序列做时间戳线性插值，统一重采样到与图像帧相同的频率；如果图像本身有时间戳抖动，再做一次平滑对齐。

数据内容上，除了成功演示，我强烈建议混入一部分失败数据。预测模型需要知道“推过了会怎样”“抓歪了会怎样”，只有成功轨迹的预测器会产生系统偏差——它永远在学习“如果动作完美会怎样”，这会让后续策略搜索天然偏向乐观，实际执行很容易翻车。数据量方面，单任务最少几千条轨迹起步，如果任务变化多，最好覆盖尽可能多的初始状态分布。预处理上，固定分辨率裁剪是标配，但要注意不要过度压缩图像细节，很多操作任务的成败就取决于毫米级的像素差异，分辨率太低等于自废武功。

2.2 网络结构怎么选：潜空间压缩加时序建模

视频预测直接丢像素是可行的，但计算量很大。我们内部最先试过逐像素预测未来三帧，一个 256x256 的视频片段把卡都跑冒烟了，而且模型很难记住纹理细节。后来换成了两段式结构：

• 第一段是视觉编码器，把每帧图像压成一个紧凑的潜向量，也可以进一步用离散 Token 表示，类似把图像“翻译”成一小段紧凑描述；
• 第二段是时序模型，输入历史潜向量序列和动作序列，预测未来的潜向量序列；
• 最后接一个视觉解码器，把预测出的潜向量还原成像素画面。

这个结构的核心优势是，时序模型不必直接在原始像素空间做预测，而是在一个低维且语义更集中的空间里建模动态。潜空间尺寸可以控制在几十到几百维，训练难度会低很多。时序模型的选择上，Transformer 类结构最通用，它对长时间跨度的依赖建模能力强；如果视频序列很长，也可以考虑在注意力之间叠加局部卷积，兼顾近处细节和远处依赖。

动作信息怎么注入也很讲究。不能把动作简单拼在序列末尾当额外 Token，常见做法是给每个时间步的历史帧潜向量都加一个动作条件嵌入，比如通过 FiLM 机制调整特征，或者直接把动作向量和潜向量拼接后过一层 MLP。总之要让每个历史帧的编码都“知道当前执行了什么动作”，这样预测未来时才能把动作带来的变化翻译到视觉结果上。

2.3 训练损失：单用像素误差是灾难

早期踩过一个典型的坑：只用 L2 像素误差训练视频预测模型。结果是预测出来的画面一团模糊——因为 L2 期望会让模型在多个可能未来之间取平均，而平均画面在视觉上就是模糊的。对于“判断某个动作会不会成功”这种任务，模糊预测几乎没有价值。

后来损失函数改成混合形式：

对抗损失不是必须的，如果任务对纹理细节要求没那么高，可以只保留“像素 + 感知”组合。评价预测质量时，也别只看均方误差，建议搭配 FVD（帧级视频距离）这类分布级指标，或者直接人工抽查预测视频，重点关注“边缘清不清晰、运动平滑不平滑、有没有鬼影”。预测视频一旦出现鬼影，说明模型的时序建模出了问题，策略直接用它决策很容易被误导。

3. 预测结果怎么变成动作：三条路线我全都试过

3.1 路线 A：模型预测控制，把预测器当模拟器用

这种思路最简单直白：把训练好的视频预测模型当成一个可微或不可微的“动力学模拟器”，在每一步决策时随机采样一批候选动作序列，带入模型推出未来画面，再用一个低成本函数筛选哪条动作序列最符合目标。

我们当时用的是交叉熵优化采样：每轮生成几百个动作候选，预测未来数帧，计算候选预测帧与目标帧之间的距离，把距离最小的前几个候选保留，再加噪重新采样，迭代若干轮后取出最优动作序列中的第一步执行。好处是几乎不需要额外训练一个策略网络，任务目标变更时只需要换一个目标帧描述，非常灵活。坏处也很明显——推理开销大，每决策一次要跑几十上百次预测，实时性比较吃力。适合放在仿真环境或低速控制任务里，比如离线数据集上做任务规划、先观察一组动作的后果再做执行决策。

成本函数定义上，可以直接用目标帧与预测帧的像素距离，用感知距离会更好。如果任务的目标是“到达某个位姿”，也可以用预测帧的潜向量和目标潜向量做余弦距离。总之要具体任务具体定义，但不用像设计奖励函数那么精细，成本函数只要“偏序正确”就能用，这比普通强化学习奖励要宽容得多。

3.2 路线 B：在潜空间做行为克隆，轻量又稳

路线 A 虽然灵活，但时间开销令人头大。另一种做法是训练时把视频预测模型固定住，用它的编码器把大量演示视频捣成潜向量序列，再训练一个小策略网络，输入是当前观测的潜向量，输出是动作。

这样做相当于借助视频预测模型做了一次特征工程：潜向量中浓缩了场景动态和时序因果信息，比原始像素更适合作为策略输入。在同样的数据量下，这种策略的成功率往往高于直接行为克隆，尤其在任务涉及多步动态、需要判断“当前动作会引发什么后果”时。

我实测下来，这种路线训练特别稳，策略网络不需要很强，两三层 MLP 或者一个小型 Transformer 就够。因为上游特征已经把最难的那部分学完了。代价是，如果预测模型本身误差较大，潜向量里会夹杂模糊信息，策略训练时需要对输入特征做标准化甚至加入随机噪声来增强鲁棒性。

3.3 路线 C：端到端策略蒸馏，把预测器当作在线老师

第三种路线有点取巧：先用视频预测模型在大量随机状态下做 “想象”，自动生成虚拟轨迹，然后拿这些虚拟轨迹去训练一个端到端策略网络，让它模仿预测模型“会选择的好动作”。这个流程看着复杂，本质上就是蒸馏——大而慢的预测模型负责产出训练信号，小而快的策略网络负责上线部署。

实施细节上，我们可以用路线 A 的 MPC 思路在预测模型内部搜索一批“高质量动作”，记录对应的初始观测和执行后的预测结果，形成新的训练集；然后让策略网络在这个数据集上学“观测到动作”的映射。这样做的好处是，最终部署的模型非常轻量，适合移动端或低算力平台；同时策略见过各种想象中的边界状态，比只用真实演示训练更抗分布偏移。

这条路线最依赖预测模型的准确度。预测得不准，蒸馏出的“高质量动作”可能本身就很离谱。而且蒸馏过程需要反复查询预测模型，离线阶段还好，在线更新的话计算开销也不小。我们后来是先用路线 A 批量生成数据，再离线蒸馏，效果比较理想。

3.4 三条路线的选型对比

如果只做一件事、实时性要求一般，路线 B 是最省心的；如果任务目标经常变，路线 A 值得优先试用；如果已经摸清预测模型的脾气、追求极致部署效率，再上路线 C 不迟。

4. 实测中的老坑与调参笔记：预测好不代表策略好

4.1 训练稳定性：视频预测比普通图像分类难在“生成”

视频预测本质上是生成模型，训练时比判别模型敏感得多。最开始我直接用比较大的学习率训练，损失前几十步降得飞快，接着就崩了，输出画面变成雪花噪声。后来总结出几个关键操作：

• 先给潜空间编码器做足够长的预训练，别让时序模型从零开始边通顺边学；
• 时序模型的学习率按 Transformer 习惯设到 1e-4 到 5e-4 之间，并配线性预热；
• 梯度裁剪不要关，尤其训练对抗损失时，梯度过大会瞬间把视觉解码器击穿；
• 输入动作做标准化，卡在 [-1, 1] 范围内，避免个别关节的极端角度打乱注意力分布。

训练时还可以做一种简单的课程学习：先只预测下一帧，损失收敛后再把预测步数拉长到三帧、五帧。一开始就预测十帧的话，误差累积会让训练进度非常慢，模型可能停留在“学不会”的泥潭里。

4.2 预测误差和决策质量不总成正比

绝大多数视频预测论文用 FVD、SSIM 衡量好坏，但对策略来说，这些指标与任务成功率的关系没有想象中紧密。我们遇到过一个经典情况：一个预测模型的 FVD 比另一个低了一半，但策略成功率反而更低。后来逐帧看预测视频才发现，这个模型的整体画面非常清晰，但它总是在预测到“接触物体”的关键帧时把物体的运动方向看错，这种错误只集中在任务关键点上，对整体图像分布影响有限，对决策却是致命的。

所以如果想拿视频预测服务下游策略，一定要做关键帧的语义评估：把预测结果按任务阶段切分，分别看接触前、接触中、接触后的准确率。甚至可以直接给预测视频加一个小的判分器，专门判断“目标物体状态变化是否与真实一致”，比 FVD 更有意义。每次改完模型结构，我们都会先手工看一段预测视频，再决定要不要继续调参。

4.3 仿真到真机的裂缝：预测模型比策略更容易“水土不服”

如果训练数据全部来自仿真，部署到真机时，预测模型会先崩。因为视频预测直接建模像素分布，仿真和真机之间的纹理差异、光照差异、相机动态都会造成预测偏移。这里对比来看，策略网络反而还能挣扎一下，因为它学到的潜向量特征语义相对稳定；预测模型就直接输出画面，一旦出现仿真里没见过的反光，整帧预测都会失真。

解决办法是让训练数据尽量贴近“部署域”。通用操作是域随机化：在仿真里随机光照方向、随机物体纹理、随机背景颜色、随机相机抖动，把各种稀奇古怪的视觉条件都塞进训练集。真机数据不够时，也可以对真机图像做色彩扰动、边缘锐化或高斯模糊后再训练，让模型不要对特定纹理过度敏感。

另外，部署时的相机标定一定要做。哪怕位置偏移一毫米，预测画面的空间关系都会发生变化。我们当时被这个问题折磨了三天，最后发现是相机被磕碰后位置歪了一点，重新标定后预测准确率立刻回升。这类问题不在模型代码里，排查起来很费时间，建议从一开始就把相机固定好，并定期检查位姿。

4.4 数据效率的取舍：短预测窗口更实用

很多研究强调长时预测能力，能预测未来十秒才有意义。但实际操作上，下单任务决策往往只需要未来零点几秒的预测就够了。预测窗口越长，模型训练难度越大，对数据的需求也暴涨。

我们最后把长时预测砍掉，只保留未来三到五帧，换来的是更高的稳定性和更好的决策质量。如果你的任务没有强实时要求，也可以训练一个“变化预测模型”——不直接预测未来整张画面，而是预测画面相对当前帧的差分，这样目标更简单，数据效率也更高。预测策略想落地，先做短窗口，把每一帧预测准，再慢慢延长窗口，是一条更稳健的路。

5. 怎么证明这个策略“更好”：消融实验与评估方案

5.1 对照组设计：不要只对比“有预测”和“没有预测”

想证明预测模块切实有效，最基础的对照是“同一份数据、同一个下游策略结构，只替换特征来源”：一组用原始像素直接行为克隆，一组用预测模型提取的潜向量做输入。这个对照能看出预测预训练带来的特征优势。

但只做这一个对照不够。我们内部还加了三个对照组：

看完这些对照，才能结论性地说明“视频预测预训练真的改变了表征质量”。单看一个成功率数字只能说明方案可行，证明不了方案环节必要。

5.2 成功率之外，还要看失败模式

决策质量只用一个成功率指标会掩盖很多问题。比如“因为预测错误导致动作过度保守，总是停在离目标 2cm 处”，这个模式反而不容易被成功率曲线看透，因为成功率可能从 30% 涨到 35%，看似提升不明显，但失败样本的本质已经换了。

我们建议每个实验都记录失败时的预测热力图或视频片段，手工归类几次，一般会看到三类失败：预测画面失真导致动作动偏、预测画面清晰但关键状态判错导致误操作、预测模型完全正确但策略探索不足。这三类失败的修复方式完全不同，不分类的话就会陷入盲目调参。实践中，我们通过这种方式把“预测判错关键帧”从百分之六十失败率压到了百分之二十，靠的正是逐条看预测视频而不是看损失曲线。

5.3 计算开销和实时性必须写进评估

视频预测模型动辄几千万参数，预测一帧画面需要跑一遍生成解码器，推理耗时不低。如果策略每决策一次都要调用预测器，计算预算根本撑不住。我们评估时会让同一个任务跑三种配置：纯策略直接推理、预测器每帧决策、预测器每五帧决策，分别记录每次决策延迟和最终成功率。结果很现实——每帧决策延迟是纯策略的十几倍，但成功率提升有限；每五帧决策平衡最好。

最终上线时我们偏向一点“滑窗复用”：预测器每 N 步推一次未来画面，策略在两次预测之间自行微调动作。这样既保留预测带来的前瞻性，又把推理频率控制住。这类工程细节通常不写进论文，但决定了一个视频预测策略能不能真正跑在实机上。评估时把这些噪音因素提前记录下来，后面写报告会省很多口舌。

6. 从预测到行动这条路，最后沉淀下来的几条判断

如果让我给还没入坑的人一些建议，我会说：先用离线演示数据训一个短窗口视频预测器，不需要很复杂，一个潜空间编码器加一个小型时序模型就够，然后接路线 B 训练策略，拿到的成功率大概率能超过直接行为克隆。这个组合成本最低、踩坑最少，也是我们内部所有视频预测方案里的通用基础盘。

再往后，如果任务目标经常变化，就加路线 A 做 MPC 规划，把目标帧换掉就能切换任务；如果部署环境极度受限，再用路线 C 把在线决策蒸馏成轻量网络。三条路线共用一套预训练预测器，不用重复训练核心模块。

踩过这么多坑之后，我的最大体会是：视频预测策略不等于“堆一个大模型”。预测器需要设计得贴合下游决策需求，训练损失要兼顾画面真实性和语义准确性，评估指标要多看数据看不到的失败模式。这个方向真正的价值，是让模型学会用视觉想象去引导动作，给奖励设计这潭浑水提供了一个新解法。Video Prediction Policy 2 这个版本我们做下来，预测更好确实带来了行动更好，但它不是什么银弹，每提升一步都是用数据、消融和工程细节换来的。