☰
VLA vs WAM:机器人操作泛化能力剖析与工程选型指南
2026/10/16 4:35:00 网站建设 项目流程

上个月,我在模拟项目X里用一条六轴机械臂做“桌面杂乱物体顺序分拣”。前端跑的是一套VLA方案,指令理解、物体识别都挺顺,结果一碰到训练集里没见过的异形件,机械臂就开始在一个动作上反复试探,最后把旁边的杯子带倒了。同期A同学在同一个任务上换了一种以世界模型为核心的WAM方案,指令理解明显没有VLA那么“聪明”,但面对没见过的物体却表现得相当稳。这件事让我开始认真琢磨那句越来越流行的判断:WAMs是不是真的比VLAs更擅长泛化?

这段时间我把两条路线从原理、数据、工程到评测维度都过了一遍,也翻了不少公开对比和内部实验报告。结论先说:如果“泛化”指的是“没见过的物理条件和长时任务”,WAMs确实有明显优势;但如果指的是“没听过的指令和没见过的物体语义”,VLAs仍然稳占上风。这篇文章把两边掰开揉碎讲清楚,给想选型、想押注技术路线的人一个可参考的坐标系。

1. 两条路线到底在争什么:先给一个能落地的定义

1.1 VLA:把操作问题改写成“看图+听懂话+猜动作”

VLA的全称是Vision-Language-Action Model,视觉-语言-动作模型。它的核心结构并不复杂:一个视觉编码器负责读相机图像,一个语言模型负责理解自然语言指令,最后的动作头把前两者融合出的特征映射成机械臂的动作输出,可能是末端位姿、关节增量,也可能是一段轨迹。

我习惯把它理解成一个“看图说话”问题的变体。普通视觉语言模型回答的是“画面里有什么”,VLA回答的是“看到这个画面并且听到这个指令时,手应该往哪动”。训练数据必须是“图像-指令-动作”三元组,来源是真机遥操作或仿真平台采集的专家轨迹。为了让模型具备常识和语言组合能力,一般会先用海量互联网图文数据把视觉语言底座预训练好,再用机器人轨迹数据做微调。

这种路线的最大红利来自语言模型本身。模型背过“杯子是容器”“水是液体”“拿起来会洒”这类常识,所以在面对新指令时,它能靠语义推理先猜一个合理的动作方向,不需要每个动作都见过。这也是VLA令人惊艳的地方。

1.2 WAM:先理解世界会怎么变,再决定自己怎么做

WAM这里指的不是某一篇论文里的专有名词,而是一整类“以世界模型为底座、再生成动作”的方法。它的基本思路是:先让模型学会环境的状态变化规律,也就是给定当前状态和一个候选动作,模型能预测下一时刻世界会变成什么样;然后在这个动态模型的基础上,再去规划或生成动作。

VLA直接学“状态到动作”的映射,WAM学的是“状态到下一状态”的转移,动作只是附带解出来的东西。这么做有一个很实际的好处:训练WAM的动态模型时,并不一定需要动作标签。你给模型看大量视频,让它自己观察“物体怎么移动、怎么倾倒、怎么被推着走”,它就能逐步建立对物理动态的统计理解。动作标签只在最后阶段用来把“预测出的状态变化”和“造成变化的动作”绑定在一起。

WAM阵营的核心信念是:真正的泛化来自对世界动态的理解,而不是对动作映射的记忆。机器人见得多了,重点不是“做得多”,而是“世界变化看得多”。这个信念听起来很合理,但实现起来比VLA要绕很多。

1.3 为何“泛化”成了这两条路线的胜负手

两条路线在公开场合吵起来,焦点几乎都落在泛化上。VLA派会说:我们已经能在几百种任务上做到零样本或少样本执行,新指令新物体都能听懂看懂,你们行吗?WAM派会说:你们的成功是统计上的成功,换一个重物、换一个摩擦系数、换一条没见过的装配路径,立刻就露馅,我们的动态模型才是真正在理解物理。

两边说的其实都是事实,只是说的不是同一个“泛化”。VLA的泛化强在语义侧和视觉侧,WAM的泛化强在物理侧和时域侧。把这两个维度混在一句话说“谁更强”,注定吵不出结果。我建议把泛化拆成至少四个维度来看,后面我会专门展开。

2. 技术实现上的四个关键差异

2.1 架构拓扑:单条前向链路 vs 动态预测与动作生成的两段式

VLA是典型的单模型端到端。图像和语言进去,动作出来,中间没有强制经过任何“世界状态”的表征。这种架构的好处是梯度路径短,训练直接,推理也快;坏处是模型内部没有自校验机制,一旦感知或语义理解出错,动作就直接歪了。

WAM通常分成两个模块:动态预测模块和动作生成模块。动态预测模块负责建模状态转移,动作生成模块在给定当前状态、目标和未来预测结果的情况下反解动作。两段式结构天然多了一层约束:如果动作生成模块给出了一个会导致状态预测明显不合理的动作,动态预测模块会在内部“报警”,相当于多了一层隐式自校验。

这里有个很容易被忽视的工程点:WAM的两个模块可以分开训练、分开更新。比如动态模型可以持续吸收无标签视频更新,动作生成模块只在新增任务数据时微调。这种松耦合在长期部署里价值很高,因为它意味着你不需要每次加任务都重训整个系统。

2.2 训练数据:带标签的轨迹 vs 可以被被动视频喂饱的状态流

VLA最烧钱的是带动作标签的轨迹数据。想覆盖足够多的指令、物体、场景,业界通常需要几十万到上百万条demo。这个采集成本非常高,真机采集中人力和时间都是硬约束,所以很多团队选择仿真合成数据。但仿真到真机的domain gap又是新的坑,经常出现“仿真满分、真机归零”的情况。

WAM的动态模型训练不吃动作标签。普通监控视频、日常人类操作视频、无标注的机械臂探索录像,都可以拿来预测“下一帧会变成什么样”。数据规模可以比VLA高出一个量级,数据来源也宽泛得多。代价是动态模型本身的训练稳定性很难保证,尤其是在接触性操作场景里,物体和物体的碰撞瞬间会让状态预测变得非常困难。

如果只看“获取喂给模型的数据”这一步,WAM的边际成本明显更低。但要把这些视频数据真正转换成可用的动态先验,需要投入大量精力处理分布杂乱、视角多样、无交互边界等麻烦问题。

2.3 动作生成机制:在动作空间里搜索 vs 在状态空间里想象

VLA的动作输出主要有两种实现路线:一种是把动作离散化成token,像生成语言一样逐点生成;另一种是直接回归连续值,或者用流匹配、扩散模型在动作空间里采样。不管哪种,VLA都是在动作空间里寻找一个与当前输入匹配的输出。

WAM不一样,它先在状态空间里“想象”一段未来。给定当前状态和目标,动态模型推演几帧之后世界会变成什么样,然后动作生成模块从这段想象轨迹里反推出动作。状态空间比动作空间更适合施加物理约束,比如物体不能穿墙、不能瞬移、不能违反重力。这也是WAM在分布外物理条件下更稳的原因之一。

“在状态空间里想象”还有一个副产品:模型可以显式地对未来做多步规划,而不是只盯着当前帧做反应。这正是长时任务里VLA容易吃亏的地方。VLA每一步都只基于当前观测预测下一步,误差会一路累积;WAM则可以在内部先跑几遍模拟,挑一条状态演化更合理的路径再出手。

2.4 语言和常识的注入方式

VLA把语言当成常驻输入,整个模型从头到尾都被语言信息调制,所以语义理解是刻在骨子里的。WAM则麻烦一些,很多经典世界模型根本没有语言入口,它只建模视觉状态动态。要让WAM听懂指令,要么额外接一个语言条件模块,要么让语言只在任务分解层起作用,底层动态预测完全跟语言解耦。

这个差异直接决定了两种路线在“新指令组合”上的表现。VLA背靠大语言模型的组合能力,遇到没见过的指令表述也能猜个八九不离十。WAM如果语言入口设计得不好,遇到一条没见过但语义逻辑明确的指令,照样会发懵。想拿WAM做通用机器人,语言接口这关绕不过去。

下面用一个表格把这四项差异压缩一下:

对比维度VLA(视觉-语言-动作模型)WAM(世界-动作模型)
架构拓扑单模型端到端,感知-语言-动作一条链路动态预测模块 + 动作生成模块,两段式
数据需求大量带动作标签的专家轨迹动态模型可用无标签视频,动作绑定数据量小
中间表征动作token或连续动作值下一时刻的状态表征/未来帧
动作生成在动作空间搜索、回归或采样在状态空间想象未来,再解算动作
语言入口常驻输入,语义能力强通常需要额外接语言条件模块
自校验能力弱,黑箱直出强,状态预测可做内部合理性检查
推理延迟单次前向,快需要想象展开,延迟随步数增长
主要风险物理泛化差、误差累积世界模型预测不准时全部下游被带偏

3. 泛化能力必须拆成四个维度来比

3.1 语义泛化:新指令组合,VLA明显领先

拿训练时见过的“抓住杯子”和“放到盒子里”来组合出“用杯子把盒子里的东西舀出来”这类新指令,VLA几乎不需要额外数据就能听懂。因为语言模型本身具备组合泛化能力,指令里每个词的含义它都已经掌握了,新的组合只是把已有概念作了一次新排列。

纯WAM如果没接语言,面对这种指令会直接失去输入信号。即使接了语言条件模块,也容易出现“听懂了语义,但不知道该在状态预测里怎么体现”的尴尬局面。句子说的是“舀”,动态模型却只预测了“杯子平移”的状态变化,动作自然就错了。

所以如果你的业务场景里指令表达千变万化,用户会时不时冒出训练集里完全没出现过的话,VLA的语义泛化优势是实打实的。这个维度上,WAM目前没有太多还手之力。

3.2 视觉泛化:新物体、新背景,两者各有千秋

VLA有互联网规模的视觉语言预训练打底,对新物体的识别和命名能力强,“知道这个东西是什么”基本不成问题。但问题在于,从“知道是什么”到“知道怎么操作”之间还有一大段距离。一个异形件的抓取点、施力方向、夹持深度,往往没法靠语义推理推出来,必须靠动作层面的统计经验。

WAM的视觉泛化逻辑不同。它不看物体叫什么名字,只看物体“怎么动”。如果模型在训练阶段见过大量“圆柱体在斜面上滚动”“方形物体被推着滑行”这类动态模式,那么遇到一个全新的长条异形件时,即使它叫不出名字,也能依据物体几何和受力特性给出合理的状态预测。

我在模拟项目X里体会很深:VLA面对训练集外的物体,先是在语义层“认识”它,然后在动作层“不认识”它,经常出现识别成功但操作失败的割裂表现;WAM跳过语义命名,直接预测动态行为,反而更稳。但如果任务本身特别依赖颜色、类别等语义属性,比如“选红色方块而不是蓝色方块”,WAM就容易被VLA甩开。

3.3 动力学泛化:没见过的物理条件,WAM优势明显

桌面突然倾斜、物体密度变了、台面摩擦系数换了、有外部扰动推了一把,VLA在这些物理条件变化下通常表现很差。原因是它学到的动作映射是和训练时的物理分布绑定的,输入分布一偏,输出立刻跟着偏。

WAM显式建模状态转移,相当于在内部存了一份“这个世界在不同条件下会怎么演化”的统计模型。模型见过“斜面越陡物体越容易滑”,那就知道在更陡的斜面上应该减少推力的水平分量;模型见过“重物体惯性更大”,那就知道在推动重物时要留出更长的减速距离。这种能力不是靠背诵动作,而是靠对物理规律的归纳。

需要提醒的是,这种优势成立的前提是:训练数据里确实覆盖了足够的物理变化。如果WAM只在平整桌面上看过抽屉滑动,你突然给它一个高低不平的变形桌面,它一样会翻车。

3.4 时域泛化:长任务与多步误差,WAM的想象优势开始显现

机器人操作里最难啃的骨头之一是长时任务。一个整理桌面的任务可能有二十到三十个动作步骤,VLA式“逐帧反应”的策略会面临误差累积问题:第1步偏一点,第2步就偏更多,到第10步可能已经完全脱离任务语义了。因为它每一步都只看当前帧,没有内部的未来预演机制。

WAM在长时任务上有一个结构性优势:它可以在内部先展开未来的状态轨迹,再根据轨迹选择动作。状态预测就像在脑子里跑一遍“任务模拟器”,可以提前发现“照当前趋势走,下一步会把杯子撞倒”,从而中途换动作。当然,这对世界模型的预测精度要求很高,预测误差大的时候,想象的未来比不看还糟糕。

从模拟项目X的15步整理任务测试看,VLA类方案在长链条上的成功率衰减几乎是线性的,而带想象规划的WAM方案衰减要平缓很多。但如果任务只有三五步,这个差异并不明显,两边都能做。

3.5 别忘了一个反例:世界模型出错时,错误会一路传导

WAM不是万能的。世界模型预测不准时,它的想象越远错得越离谱,而且所有下游动作都会被这个错误的状态预测带偏。VLA的错误往往只影响当步动作,下一步还能靠真实的传感器反馈拉回来一部分,容错空间反而更大。

我把这个反例放在这里,是想避免把WAM捧成灵丹妙药。在接触操作密集的场景,比如拧螺丝、插接件,物体的微小位姿误差会导致状态预测快速发散,WAM的动态模型很容易“想象出一堆现实中不可能发生的事”。处理这种场景,VLA的“笨但直接”反而更可靠。

4. 公开观察与我自己跑的对比实验

4.1 第三方基准上的共性规律

近两年几个公开操作基准的测试结果有一个共性规律:VLA类方法在训练分布内的任务上表现抢眼,部分任务成功率能做到八成以上;但一旦测试集换上新的物体类别、新背景、新的指令措辞,成功率掉到四成以下也不新鲜。曲线通常很陡,像极了“背题背得好但不会举一反三”的考试型选手。

以世界模型为核心的方案恰恰相反。它们的训练内任务成功率往往略低于VLA,但在分布外测试集上的表现要平稳得多,通常能稳定在六成上下。两者的成功率曲线一对比,就是一道剪刀差:训练内VLA占优,越往分布外走WAM的优势越明显。

这里要强调一句:不同基准的任务组成、难度分布差别很大,直接比对绝对值没有意义。真正值得注意的是“相对跌落幅度”,也就是同一套系统从训练内换到分布外后跌了多少。这个指标最能反映泛化能力,可惜很多人只看最终数字不看跌幅。

4.2 模拟项目X的A/B测试:同数据量下的四条部署对比

为了不被二手结论左右,我在模拟项目X里做了四组对照:纯VLA(7B视觉语言底座微调)、VLA加后置安全过滤、世界模型加动作头、世界模型加想象规划。四组共用同一批训练数据,不包括任何测试场景相关的轨迹。

结果大致是这样的:

部署方案指令跟随单步抓取成功率分布外物体分拣15步长时整理
纯VLA高良好差,约四成差,后期明显脱轨
VLA+安全过滤高良好略好,但仍有动作僵持改善有限
世界模型+动作头中等良好中上,约六成中上
世界模型+想象规划中等良好中上,接近七成较好,误差累积明显缓解

数字只对我们这个任务分工和数据集构成有效,我不主张拿它当普适结论。但趋势和前面公开基准观察是吻合的:指令跟随VLA占优,分布外物理条件下世界模型路线更稳,长时任务想象规划有明显增益。

4.3 数字之外,我更看重的评价口径

比“谁的成功率高”更重要的是“失败模式可不可预测”。VLA在分布外物体上的失败方式是“识别到了、动作不对”,模型看起来很有信心,实际上在胡来;WAM在同样场景下的失败方式是“状态预测开始发散”,你渲染出想象帧一看就发现不对。

对做系统集成的人来说,可预测的失败比偶发的成功值钱得多。因为前者意味着你可以设计监控规则、可以加安全兜底、可以在失败发生前干预;后者意味着你只能看到最终结果崩掉,但根本不知道它从哪一步开始失控。这也是我后来在项目里越来越倾向WAM的一个重要原因。

5. 除了泛化,工程落地还要算这五笔账

5.1 训练成本:VLA流程成熟,WAM对算力宽容度低

VLA的训练流程相对成熟,开源底座也多,小团队用几卡做小规模微调是完全可行的。虽然它吃数据,但数据问题可以通过买数据、用仿真、复用公开集来缓解。整个训练管线已经被社区打磨得很顺,踩坑成本低。

WAM的困难不在动作标签,而在动态模型本身的训练。高质量视频世界模型是一个非常吃算力的东西,动辄几十张卡起步,小团队从零训一个基本不现实。除非你有团队专门负责动态模型的训练稳定性和数据管线,否则不建议把WAM当作第一个尝试的方案。

5.2 推理时延与控制频率:想象是要付出实时性代价的

VLA一次前向出动作,端到端能做到几十毫秒级别,跑在低速移动操作或远程遥操作上问题不大;如果你要的是高频力控,当前VLA其实也远远不够,通常都得外接一个高频底层控制器来补。

WAM的问题更突出。每次决策都要在内部展开若干步想象,延迟会随想象步数线性增长。你想象未来5步和想象未来50步,消耗完全不在一个量级。工程上常见的折中方案是:低频路径用WAM做任务级规划和大尺度避障,高频路径还是传统的PID或阻抗控制来执行底层动作,两者互相配合,而不是让WAM接管全部控制频率。

5.3 黑箱程度与调试体验:WAM能让你“看见它为什么疯”

VLA的调试体验是出了名的差。任务失败了,你对着日志看半天,也很难判断到底是视觉编码器看错了、语言模型理解错了,还是动作头回归错了。最后只能改数据、重训、再试,来回循环非常耗时。

WAM的中间状态预测给了你一个可视化的调试抓手。模型想象出来的下一帧是什么,渲染出来人一眼就能看出合不合理。如果想象帧里物体穿墙了、发生瞬移了,不用多想,动态模型出问题了;如果想象帧合理但动作执行出错,那问题大概率出在动作生成模块。这种“分模块定位问题”的能力,在工程交付场景里特别加分,尤其是客户追问“为什么失败”的时候。

5.4 与安全/规控栈的融合:状态预测天然是安全判据

任何机器人系统落地都绕不开安全。VLA直接输出动作,通常要在外面套一层安全过滤器,检查碰撞、关节限位、速度限制,不符合就拦截。拦截不执行,你这个动作就算白算了,系统的可用性会打折扣。

WAM因为能预测状态,天然多了一个安全判据:用实际传感器读回来的状态和模型预测的状态做比对,偏差超过阈值就停机。这个机制相当于让机器人自己“意识到”世界跟它想象的不一样。很多团队跟我聊过,他们引入世界模型并不是为了替代VLA,而是为了拿到这个“状态比对偏差”信号来触发安全策略。

5.5 可解释性:给客户和审核方一个交代

在不少工业交付场景里,面对审核方“你凭什么认为这一步是安全的”这类问题,VLA的黑箱输出很难回答。WAM可以把“模型认为的未来画面”和“实际画面的差异”展示出来,配合状态预测偏差的数值,至少能形成一个说得通的解释链。

可解释性这件事经常被低估,但它决定了项目能不能过审、能不能交付、能不能得到非技术方的信任。在这一点上,WAM的结构性优势非常清楚,哪怕它的最终成功率暂时不如VLA高,很多客户也愿意接受一个“能说清自己在想什么”的系统。

6. 我的选择逻辑与混合路线实践

6.1 先想清楚你的任务缺哪种泛化

做技术选型,别上来就问“哪个更好”,先问“我的任务主要缺什么”。如果用户的指令千奇百怪,今天说“把那堆东西理整齐”,明天说“把红色圆形放到蓝色方形里”,语义泛化是硬需求,VLA几乎是必选项,或者至少要在系统里保留一个强大的语言理解前端。

如果任务核心是“物体物理属性变化多”“接触操作频繁”“长时多步执行”,比如分拣异形件、装配、整理,你要补的恰恰是物理泛化和时域泛化。这时候WAM的价值会体现得很充分,投入产出比也更高。

最怕的情况是两边都想要,但不知道该从哪入手。我的建议是别一步到位追求完美,先抓住当前业务最疼的那个泛化维度,把它用对应的路线解决掉,再逐步补另一侧。

6.2 我倾向的混合落地顺序

从模拟项目X以及后续几个模拟环境里的实践看,我目前最倾向的工程路径是把两条路线叠起来用,而不是硬分胜负。

第一步,先用VLA做任务理解和语言入口。它负责把自然语言指令翻译成可执行的任务状态目标,以及提供一个合理的初始动作候选。这一步的价值是保住语义泛化。

第二步,把VLA输出的动作候选交给世界模型做验证。世界模型在当前状态下对这个候选动作做一步或几步的想象展开,检查下一状态是否符合物理规律和任务约束。如果想象结果合理,就执行这个动作;如果明显不合理,就让系统换一个候选动作,或者直接触发安全机制。

第三步,把“想象状态与实际状态”的偏差持续记录下来。这个偏差曲线就是整个系统最宝贵的调试信号,它会告诉你VLA在哪一类场景里开始不靠谱、世界模型在哪一类物理条件下开始失真。后续优化就有了明确方向。

这套顺序的好处是不用推翻任何一边的技术积累。VLA继续发挥它的语义优势,WAM继续发挥它的动态校验优势,两边各干各最擅长的事,中间的接口就一个“状态预测偏差”。

6.3 给后来者的三句话

第一句:泛化能力不是一个数字,更像一张四维雷达图。语义、视觉、动力学、时域,四个维度各有各的赢家。谁在某个维度强,只能说明它适合解决那个维度下的问题。

第二句:别被路线之争带节奏。很多讨论看似在比技术,实际上比的是手里的数据分布和评测口径。训练数据不同、测试集不同,谁都能通过调整样本分布让自家的路线看起来更厉害,这种结论没有迁移价值。

第三句:如果真的准备投生产,WAM带来的“可预测失败”和“想象偏差信号”可能比几个点的成功率提升更值钱。它也许暂时不是成功率最高的方案,但它能让你知道自己正在失败,以及为什么失败。这两件事,做机器人系统集成的人应该都懂有多重要。

回到开头那个模拟项目X。后来我们在分拣场景里留下了VLA做语义任务分解,又加了一个轻量级世界模型对关键动作做想象校验,异形件分拣的成功率和使用体验都有了很大改善。两条路线最后没有打起来,反而成了同一套系统里互补的两层。我个人觉得,这大概就是这类争论最合适的结局:谁也不吃掉谁,最终在工程里各归其位。

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询