企业官网建设流程全解析

“物理AI”这三个字最近出镜率很高，但真正让机器人从“能看”变成“能干”的，不是某个炫酷demo，而是VLM、VLA、WAM这三类模型各自承担的数学任务。这篇文章干脆把这层窗户纸捅破：VLM负责把图像和文字放进同一套数学空间，VLA负责把这份理解换算成电机能执行的动作分布，WAM负责在动作落地前先在模型内部做一次世界推演。读完之后，你再去看RT-2、OpenVLA、Dreamer这些模型，会清楚很多。

本文主要面向三类读者：正在做多模态模型部署的算法工程师，想从CLIP/LLaVA转向具身智能方向的研究生，以及准备把VLA接到真实机器人或仿真环境中的开发同学。文章不会复述论文里的漂亮话，而是把对比学习、自回归生成、扩散策略、状态空间模型、变分推断这些数学骨架单独拎出来，讲清楚它们各自解决什么问题、怎么组合、训练和部署时最容易在哪一步出问题。

1. 核心能力速览

VLM、VLA、WAM在物理AI里各管一段，先给一张速览表，后面逐层拆数学。

表格里的代表性项目均为公开学术或开源工作，具体版本、权重和推理资源需要按官方仓库获取。物理AI场景下，WAM的定义还没有VLM、VLA那么统一，有人把World Model直接称为WAM，也有人强调WAM是能输出动作的世界动作模型。本文按“世界模型/世界动作模型”这个更宽泛的定义展开，重点讲清楚它对环境动态进行数学建模的那部分。

2. 适用场景与使用边界

物理AI并不是一个单模型就能解决的命题。VLM解决的是“这里有什么、处于什么状态、用户想要什么”等语义理解问题，适合用在视觉问答、目标定位、状态判断、任务分解这些环节；VLA解决的是“既然知道了，下一步关节怎么动”的问题，适合用在机械臂抓取、移动操作、任务指令跟随等需要输出连续动作控制的场景；WAM解决的是“如果我执行这个动作，环境会变成什么样”的问题，适合用在模型预测控制、离线强化学习、数据增强、策略预训练等环节。

但三者的边界必须说清楚。VLM本身不输出动作，强行让VLM输出电机位置，等于把回归问题当成文本生成问题，精度和安全性都不够。VLA如果缺少高质量的遥操作数据，动作分布会非常不稳定，仿真里表现好不代表真机能复现，因为仿真物理引擎和真实摩擦、延迟、噪声存在差异。WAM则适合做“多步推演”和“候选动作评估”，不适合直接当控制器使用，因为预测模型一定有误差，误差会随时间步累积。

还有一个容易被忽略的边界：数据合规。机器人操作数据如果来自真实设备或人工遥操作，采集前必须确认设备授权、场景隐私和操作者知情同意。使用真人演示视频训练VLA或WAM，要注意肖像权和场景版权。仿真数据相对安全，但迁移到真机前必须做系统辨识和安全测试。动辄上千小时的操作数据也不要盲目相信来源，数据清洗、去标识化和质量抽检是上线前的基本动作。

3. 三条技术路线的定位：感知、操作、预测

把VLM、VLA、WAM放在同一个物理AI系统里看，三者不是竞争关系，而是流水线上的三段。

VLM在流水线最前面，负责把高维像素变成有语义的表示。一张桌子、一个杯子、一条“把杯子放到桌角”的指令，经过视觉编码器和文本编码器后，会落到同一个向量空间里，模型才能判断杯子和桌角分别在哪、指令和画面是否匹配。VLM的输出不一定是完整句子，也可能是视觉token序列或对齐好的特征。

VLA在中间，接收VLM给出的视觉语言特征，再输出动作序列。VLA和VLM的区别在于动作头的设计：VLM输出的是词汇表上的概率分布，VLA输出的是动作空间上的概率分布。动作可能是离散的关节角token，也可能是连续的分布参数，还可能是扩散模型去噪后得到的一串轨迹点。

WAM可以放在VLA前后，也可以独立存在。它可以作为VLA的“虚拟训练场”，让策略先在模型预测出的下一帧状态上学习，而不必每次都在真实环境里试错；也可以作为规划器，在推理阶段用模型预测控制（MPC）的方式，评估多条候选动作轨迹，选一条预测结果最好的执行。

理解这个分工之后，再看单个模型的数学逻辑就不会迷路。

4. VLM底层数学：图文对齐不是“看图说话”

VLM的数学起点是图文对齐。所谓“看懂图片”，本质是把图像和文本映射到同一个向量空间，让匹配的图文对距离更近，不匹配的图文对距离更远。

4.1 双塔结构与对比学习

CLIP这类双塔模型的做法很直接：一个图像编码器 f_θ 把图片 I 映射成向量 z_v，一个文本编码器 g_φ 把文本 T 映射成向量 z_t：

$$ z_v = f_\theta(I), \quad z_t = g_\varphi(T) $$

训练时，一个batch里有 N 个图文对。对角线上的图文对是正样本，其余 N×N−N 对是负样本。模型要学到的结果是：正样本对的余弦相似度尽量高，负样本对的尽量低。这就是对比学习的核心思路。

为什么不直接用回归损失训练？因为图文对齐的目标不是“精确重建某个向量”，而是“区分匹配和不匹配”。对比学习天然适合这种度量学习问题，而且能利用大规模的弱标注图文对，不需要人工逐张标注详细描述。

4.2 InfoNCE损失

对比学习里最常用的损失是InfoNCE。对第 i 个图像 z_v^{(i)} 和文本 z_t^{(i)}，损失定义为：

$$ \mathcal{L}{\text{InfoNCE}} = -\log \frac{\exp\left(\text{sim}(z_v^{(i)}, z_t^{(i)}) / \tau\right)}{\sum{j=1}^{N} \exp\left(\text{sim}(z_v^{(i)}, z_t^{(j)}) / \tau\right)} $$

其中 sim 是余弦相似度，τ 是温度系数。分母对batch内所有文本特征求和，等价于在 N 个样本里找出正确匹配的那个。InfoNCE从信息论角度可以理解为最大化正样本对的互信息下界，所以它学到的表示不只是在拟合标签，而是在保留图文之间共享的那部分信息。

温度系数 τ 很关键。τ 太大，softmax分布变平，模型对正负样本的区分变迟钝；τ 太小，分布变尖，模型会过度关注难负样本，训练稳定性下降。常见实现里 τ 是一个可学习参数，初始值在 0.01 到 0.1 之间，具体要按数据规模调。

4.3 交叉注意力融合

双塔结构擅长做检索和对齐，但要做视觉问答、视觉推理，模型还需要把图像信息“融合”进文本生成过程。这就轮到交叉注意力登场。

多模态融合的典型结构是：视觉编码器输出一组视觉特征序列，语言模型每个解码层通过交叉注意力查询视觉特征。计算公式为：

$$ Q = W_Q z_{\text{text}}, \quad K = W_K z_{\text{visual}}, \quad V = W_V z_{\text{visual}} $$

$$ \text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right) V $$

每个文本token生成时，都能根据语义相关性去“查看”图片不同区域。LLaVA这类模型更进一步，用一个投影矩阵把视觉特征从CLIP的向量空间映射到语言模型的embedding空间，然后和文本token拼在一起做自回归生成。这个投影矩阵 W 本身也是训练的，它的作用是把“CLIP看得懂”的特征翻译成“LLM说得出”的特征。

4.4 从对齐到指令跟随

有了对齐和融合，VLM才能做指令跟随。指令跟随的训练目标通常是标准语言建模损失，对每个文本token计算交叉熵：

$$ \mathcal{L}{\text{LM}} = -\frac{1}{n} \sum{t=1}^{n} \log p_\theta(y_t \mid y_{<t}, z_v) $$

也就是说，VLM在生成阶段就是“以图像为条件的自回归语言模型”。这里要注意，很多物理AI项目直接用现成VLM的视觉编码器，而不是从头训一个VLM。因为VLM的图文对齐质量直接决定下游VLA看图片的“感受”，用CLIP或SigLIP这类经过大规模对比训练的视觉编码器，比随机初始化效果好得多。

5. VLA底层数学：把动作变成下一个token

VLA要解决的核心问题是：给定当前视觉观测和语言指令，输出机器人动作。这个“输出动作”的数学形式，决定了整个模型的训练方式和稳定性。

5.1 动作表示：连续控制 vs 离散token

机器人动作本质上是连续向量。一个六自由度机械臂，每一步动作可以是六个关节角度；移动机器人还要加上线速度和角速度。连续向量不能直接塞进语言模型的softmax输出层，所以要先把动作转成模型能处理的表示。

RT-2的做法是离散化。它把每个动作维度归一化到固定区间，再量化为256或1000个离散token，动作序列变成一串token，整体上就是一个“动作语言”。这样可以直接复用语言模型的交叉熵损失，实现起来最省事。缺点是量化会损失动作精度，对于精细操作任务，离散粒度不够时动作会很粗糙。

OpenVLA也走类似路线，但把动作token化做得更细。它用LLaVA作为基座，把机器人本体状态、关节位置、语言指令都拼进输入序列，输出256个动作token，每个token用k-means聚类出来的动作码本表示。本质上还是用自回归方式生成动作。

5.2 自回归动作生成

动作token化之后，VLA就变成一个条件动作生成模型。给定视觉特征 z_v、语言指令 l 和已生成的历史动作 a_<t，下一个动作token的概率为：

$$ p_\theta(a_t \mid z_v, l, a_{<t}) $$

训练目标是最大化动作序列的似然，也就是对每个动作token计算交叉熵并求和：

$$ \mathcal{L}{\text{VLA}} = -\sum{t=1}^{T} \log p_\theta(a_t \mid z_v, l, a_{<t}) $$

这套逻辑和VLM生成文本完全同构，所以训练VLA时可以复用大量语言模型基础设施：权重初始化、分布式训练、低秩微调（LoRA）都可以直接用。RT-2的关键实验结论是：先在大规模图文数据上预训练，再用机器人数据微调，动作生成能力会显著优于只在机器人数据上训练的模型。这说明VLA的底座仍然是VLM的语义理解能力。

5.3 扩散策略：更稳的动作分布

自回归动作生成的问题是：动作token是离散的，且误差会逐步累积。生成20步动作token时，第15步以后的动作质量经常明显下降。真实机器人控制需要更平滑、更连续的动作输出，于是扩散策略（Diffusion Policy）成为VLA的另一个主流方向。

扩散策略的思想很直接：把一段动作轨迹看成数据点，前向过程逐步加噪到纯高斯噪声；反向过程在视觉语言条件 c 的引导下逐步去噪，恢复出真实动作轨迹。训练损失是噪声预测误差：

$$ \mathcal{L}{\text{diff}} = \mathbb{E}{\epsilon, t, c} \left[ \left| \epsilon - \epsilon_\theta\left(\sqrt{\bar\alpha_t} a_0 + \sqrt{1-\bar\alpha_t} \epsilon, t, c\right) \right|^2 \right] $$

其中 a_0 是真实动作轨迹，ε 是采样出的高斯噪声，t 是扩散时间步，c 是视觉语言条件。推理时从随机噪声开始，迭代去噪若干步得到动作轨迹。

相比自回归token生成，扩散策略有三个明显优势：一是输出本身是连续轨迹，和机器人控制接口天然匹配；二是扩散模型能建模多模态动作分布，同一个指令可能有多种合理走法，扩散模型不会像点预测那样求平均导致动作“瘫软”；三是去噪步数可以控制在5到10步，推理延迟在可控范围。π0模型用的流匹配（Flow Matching）进一步简化了扩散过程，用线性插值替代加噪过程，训练收敛更快，推理步数更少。

5.4 目标函数与训练流程

VLA的完整训练往往不是单一损失。常见做法是：

1. 从预训练VLM初始化视觉编码器和语言模型。
2. 用静态图文数据做对齐和指令微调，保持语义能力。
3. 加入机器人遥操作数据，以动作预测损失为主，同时保留文本生成损失防止灾难性遗忘。
4. 如果需要策略更平滑，再加入动作轨迹的扩散损失或流匹配损失，和语言头联合训练。

这一步最容易踩的坑是数据分布不匹配。如果机器人数据里只有“拿起”“放下”两类指令，模型会把动作和场景强绑定，换一个新物体或新背景就失效。VLA的泛化能力很大程度来自图文预训练带来的语义先验，微调阶段不能把数据比例做得太极端。

6. WAM底层数学：在“大脑”里先跑一遍未来

WAM，也就是世界模型/世界动作模型，目标是让模型能够预测环境对动作的响应。如果说VLM回答“现在是什么”，VLA回答“下一步做什么”，WAM回答的是“如果我这样做，会发生什么”。

6.1 世界模型要解决什么问题

真实环境交互成本高、速度慢、风险大。机器人每试错一次，都需要真实物理世界响应。WAM希望在模型内部维护一个环境的动态模型 p(s_{t+1} | s_t, a_t)，让策略可以在虚拟推演中评估动作好坏，再回到真实环境执行。

这个想法在控制论里由来已久，核心就是状态转移建模。难点在于：机器人观测不是完整状态，而是高维像素；传感器有噪声；环境有随机性。WAM的数学设计要同时处理高维观测、状态估计和多步预测误差累积。

6.2 状态空间模型

最基础的世界模型是状态空间模型。假设真实状态为 s_t，观测为 o_t，动作为 a_t：

$$ s_{t+1} = f(s_t, a_t) + w_t $$

$$ o_t = h(s_t) + v_t $$

其中 f 是状态转移函数，h 是观测函数，w_t 和 v_t 是过程噪声与观测噪声。如果 f 和 h 是线性高斯形式，可以用卡尔曼滤波做精确推理。但机器人操作场景里，状态转移高度非线性，观测是高维图像，所以必须用神经网络逼近 f 和 h，再用变分推断做近似状态估计。

6.3 潜在动态模型与变分推断

Dreamer系列是潜在动态世界模型的代表。它不直接在像素空间预测下一帧，而是把观测压缩成低维潜在状态 z_t，然后在潜在空间里学状态转移：

$$ p_\theta(z_t \mid z_{t-1}, a_{t-1}) \quad \text{先验预测器} $$

$$ q_\phi(z_t \mid z_{t-1}, a_{t-1}, o_t) \quad \text{后验编码器} $$

训练目标是最小化先验和后验之间的差异，同时让潜在状态能重建观测。写成ELBO形式：

$$ \mathcal{L}{\text{WAM}} = \sum_t \left[ \mathbb{E}{q_\phi} \log p_\theta(o_t \mid z_t) - \beta \cdot D_{\text{KL}}\big(q_\phi(z_t \mid z_{t-1}, a_{t-1}, o_t) ,|, p_\theta(z_t \mid z_{t-1}, a_{t-1})\big) \right] $$

第一项是重建损失，逼着潜在状态保留足够多的观测信息；第二项是KL散度，逼着先验预测器学会状态转移。这个loss的数学含义是：既要让模型能“看懂”当前帧，又要让模型在给定历史状态和动作时，对未来状态有一个靠谱的猜测。

潜在状态相比像素预测有两个好处：一是显存和计算量小得多，不必生成完整图像；二是潜在空间可以手动约束成高斯分布，方便采样和规划。缺点是有信息瓶颈，如果潜在维度太小，细粒度物体位置信息会被丢掉，影响下游动作精度。

6.4 视频预测与非生成式世界模型

另一类WAM直接在像素空间做视频预测，输入历史帧和动作，输出未来帧：

$$ p_\theta(o_{t+1:T} \mid o_{1:t}, a_{1:T}) $$

这类模型的好处是输出直观，可以直接观察模型“想象”的画面；坏处是像素空间维度极高，训练和推理都很重，而且均方误差或交叉熵容易让预测结果变模糊——多个可能的未来被平均成一张模糊图。

为了解决生成式世界模型的两大问题（计算量大、预测模糊），JEPA（联合嵌入预测架构）提供了一条不同的路线：不在像素空间生成，也不在单一潜在空间里预测，而是让两个编码器分别处理输入和预测目标，再用能量函数衡量它们的一致性：

$$ \mathcal{L}{\text{JEPA}} = \max\left(0, , s(z{\text{input}}, z_{\text{target}}) - s(z_{\text{input}}, z_{\text{negative}}) + m\right) $$

这类模型学的是“什么样的未来表示和当前表示是兼容的”，而不是“未来像素具体是什么”。它更像人类对物理场景的理解方式：不需要精确画出下一秒的每个像素，只需要知道物体大致会移动到什么位置、什么关系会保持。缺点是损失函数和训练稳定性比生成式模型更难调，目前在机器人控制上的成熟应用还少于Dreamer这类潜在动态模型。

7. VLM + VLA + WAM 如何协同

单独看任何一个模型都不完整，物理AI系统要把三者串起来。

一种常见组合是“VLM理解 + WAM预测 + VLA执行”。系统先接收语言指令和相机图像，VLM把目标物体和操作语义提取出来；WAM在当前状态下对多条候选动作轨迹做推演，预测每种选择带来的未来观测或状态；VLA生成具体动作序列，执行器执行后，新的观测再回到VLM和WAM，形成闭环。

数学上，这种协同可以写成规划问题。设当前潜在状态为 z_t，候选动作序列为 a_{t:t+H}，WAM给出预测状态 z_{t+1:t+H+1}，VLM给出语言奖励或任务完成度估计 R，那么模型预测控制要优化的目标是：

$$ a^* = \arg\max_{a_{t:t+H}} \sum_{k=1}^{H} R\big(z_{t+k}, l_{\text{task}}\big) $$

这正是MPC的标准形式。WAM负责提供 z_{t+k}，VLM负责提供任务相关的奖励函数 R，VLA负责把选出的动作轨迹转成底层控制信号。这样设计的好处是：动作决策不依赖单次VLA输出，而是建立在多步推演之上，对噪声和干扰更鲁棒。

另一种组合是数据闭环。用VLA在仿真和真机上采集大量动作数据，把轨迹喂给WAM做预训练，WAM再生成虚拟轨迹供VLA训练。这样可以把真实数据量成倍放大，但前提是要控制WAM的预测误差，否则策略会在幻觉状态上过拟合。更稳妥的做法是用真实数据做校验，只有预测误差低于阈值的虚拟轨迹才进入训练集。

8. 从论文到工程：训练、部署与性能观察

这部分不谈具体显卡型号，因为不同版本差距很大，但工程方法有通用性。

8.1 训练阶段的资源策略

VLM和VLA的训练没有本质区别，都是先加载预训练权重，再对特定数据做微调。显存占用主要来自三块：模型权重、优化器状态、中间激活值。以常见7B模型FP16推理为例，仅权重就约占14GB，训练时还要算上梯度、Adam优化器状态和激活，很容易超过单卡显存。降低资源占用的通用手段包括：

• 用LoRA或QLoRA只训练低秩适配器，冻结主干，显存可以从“训练整个模型”降到“训练不到1%参数”。
• 使用梯度检查点（gradient checkpointing），用计算换显存，训练速度慢一些但能跑更大的batch。
• 缩短图像token数量。例如对高分辨率输入做分块编码，而不是直接把整张大图喂给视觉编码器。
• 混合精度训练，FP16或BF16能显著降低显存，但要注意损失震荡时切换回FP32做梯度裁剪。

8.2 推理阶段的速度瓶颈

物理AI对推理延迟很敏感。一个VLA生成20步动作token，如果每步需要50毫秒，总延迟就是1秒，对于实时控制来说太慢。缓解方式有：

• 把视觉编码结果缓存下来，如果画面没变化就不重新编码。
• 对动作token使用流式解码，生成第一批动作就开始执行，不需要等完整序列。
• 把扩散策略的推理步数从50步压到5到10步，用DDIM或流匹配的少步采样。
• 对WAM减少预测时域长度H，H越大越准但越慢，实际可以从H=4起步，观察控制效果再决定是否加长。

8.3 性能观察的检查清单

在没有成体系监控工具的情况下，按下面几个维度观察：

• GPU显存占用：用nvidia-smi观察训练和推理的峰值显存，记录换batch前后波动。
• 帧率/控制频率：记录从图像输入到动作输出的端到端延迟，包括前后处理时间。
• 动作平滑度：把VLA输出的关节角序列画出来，看是否有高频抖动。出现抖动通常说明动作分布过宽或预测步长不匹配。
• WAM预测误差：用真实轨迹和WAM预测轨迹算均方误差，按预测步数分桶统计，误差随步数增长的速度如果过快，说明模型没有学到长期动态。

9. 常见问题与排查方法

10. 最佳实践与使用建议

先给一条总原则：第一次跑通，用最小模型、最小分辨率、最小规划时域，绝不在第一天就追求完整物理AI系统。

训练VLM时，先验证图文匹配的top-1准确率。如果连“一张桌子配一段桌子描述”都检索不对，后续所有下游任务都不会靠谱。训练VLA时，先盯动作分布，不要只盯任务成功率。成功率80%但动作抖动严重，说明模型在靠运气完成任务，离真实部署还有距离。训练WAM时，先看单步预测误差，再看多步累积，单步误差小但多步爆炸，说明动态建模有问题。

工程上建议把模型文件、训练数据、验证数据、输出结果分目录管理，每一次实验记录下模型版本、数据版本、参数配置和关键指标。批量训练或批量推理任务要加日志和失败重试，单条数据失败不能中断整个任务队列。接口服务部署时，默认只绑定内网地址，不要直接暴露公网端口，调用方需要做鉴权。

物理安全永远是第一优先级。VLA输出的动作序列在真实机器人上执行前，必须经过关节限位检查、速度限制和急停逻辑。不要直接让未经约束的VLA控制真实机械臂，尤其不要在没有安全围栏的环境里测试。涉及真人操作视频、真实场景图像、私有环境数据时，必须确认授权、隐私和版权合规。模型商用前要做效果复核和对抗样本测试，确认它不会在异常输入下产生危险动作。

11. 总结与下一步

VLM、VLA、WAM三者最该先验证的都是同一个问题：模型是否学到了正确的分布。VLM要验证图文分布是否对齐，VLA要验证动作分布是否平滑，WAM要验证未来状态分布是否准确。最容易踩的坑是“点预测思维”：把VLA当成直接输出唯一动作的分类器，把WAM当成直接输出唯一未来帧的回归器。真实物理环境充满多模态可能，只有把动作和未来建模成分布，才能在部署时具备鲁棒性。

建议的下一步实践路径是：先选一个开源VLM做图文检索测试，确认视觉编码器质量；再找一个预训练VLA，在仿真环境里跑通“语言指令到动作序列”的闭环；最后用仿真轨迹训练一个小规模潜在动态WAM，把它接进MPC做候选动作评估。三步都跑通之后，再考虑真实硬件迁移。每一步都要记录资源消耗、速度指标和失败样本，这些数据比模型本身更宝贵，它们决定了一个物理AI系统能不能从演示走向稳定部署。

这份内容可以先收藏备用，等你要动手做具身智能项目时，再翻回来看这三类模型的数学骨架，选型会清楚很多。