企业官网建设流程全解析

1. 从热词到架构：Wan2.1到底在解决什么问题

第一次看到Wan2.1这组关键词——DiT、Flow Matching、Wan-VAE、umT5——我脑子里冒出来的第一个念头是：这又是一套"堆料式"的生成模型命名法。但真正把它的技术脉络捋一遍之后，我发现它其实是在回答一个非常具体的问题：当视频生成从"能出画面"进入"能出稳定、连贯、可控画面"的阶段，底层的扩散范式该怎么换。

过去两年，图像生成领域的主流做法是U-Net加DDPM那一套，靠逐步去噪把随机噪声还原成图像。这套东西在图像上跑得通，但搬到视频上就露怯了：帧与帧之间的时序一致性很难维持，长视频一拉长就开始糊、开始漂移。Wan2.1的核心思路，是把主干网络从U-Net换成DiT（Diffusion Transformer），同时把训练目标从传统的噪声预测换成Flow Matching。这两个改动叠加起来，本质上是在用Transformer的可扩展性去吃掉视频的时空复杂度，用Flow Matching的直线路径去降低采样步数和训练难度。

关键词里的"单流DiT"是个容易被忽略但很关键的细节。所谓单流，指的是它没有像某些方案那样把图像和视频分成两条独立的处理流，而是用统一的Transformer主干同时处理时空token。这样做的好处是参数利用率高、模态之间不割裂；代价是对位置编码和注意力掩码的设计要求更精细。Wan-VAE则是配套的变分自编码器，负责把像素空间压缩到潜空间，umT5负责文本条件的编码。整条链路串起来就是：文本经umT5编码，视频经Wan-VAE压到潜空间，DiT主干在潜空间里做Flow Matching去噪，最后解码回像素。

这套架构适合谁看？如果你只是想把Wan2.1跑起来出片，那看官方推理脚本就够了。但如果你想搞清楚"为什么它比上一代稳""为什么采样步数能压这么低""单流设计到底省在哪"，那下面这些拆解应该对你有用。我会尽量把每个模块的动机、实现要点和实操中容易踩的坑讲透，而不是停留在名词解释层面。

2. DiT主干：为什么视频生成最终选了Transformer

2.1 U-Net在视频任务上的三个硬伤

要理解Wan2.1为什么换DiT，得先明白U-Net在视频上到底卡在哪。U-Net的经典结构是编码器下采样、解码器上采样，中间用跳跃连接把浅层特征直接送到深层。这套设计在图像去噪上非常高效，因为图像的局部性和平移不变性很强，卷积核天然适配。但视频多了一个时间维度之后，问题就来了。

第一个硬伤是感受野和时序建模的矛盾。视频的时序依赖往往跨越几十甚至上百帧，U-Net靠堆卷积层或者加3D卷积来扩大感受野，但卷积的感受野增长是线性的，要覆盖长时序就得堆很深的层，参数量和显存直接爆炸。第二个硬伤是归纳偏置太强。卷积假设局部相关性和平移不变性，这在图像上是对的，但视频里的运动、遮挡、光照变化并不满足严格的平移不变性，强归纳偏置反而限制了模型表达。第三个硬伤是扩展性差。U-Net的通道数和层数一放大，训练稳定性和收敛速度都会明显恶化，而Transformer在scaling law上的表现已经被大语言模型反复验证过了。

DiT的思路很直接：既然Transformer在序列建模上这么能打，那就把视频的每一帧切成patch，加上时间位置编码，拼成一个长序列丢给Transformer。注意力机制天然能建模任意两个token之间的关系，时序依赖再长也就是注意力矩阵大一点的事。这就是Wan2.1选DiT的根本原因——不是DiT一定比U-Net好，而是在视频这个场景下，DiT的可扩展性和长程建模能力更契合需求。

2.2 单流DiT的时空token统一处理

"单流DiT"这个词值得单独拎出来讲。在它之前，不少视频生成方案采用的是双流或者多流设计：一条流专门处理空间信息（单帧内的纹理、结构），另一条流专门处理时间信息（帧间运动），最后再融合。这种设计逻辑上清晰，但实际训练时两条流容易各自为政，融合层的对齐很麻烦，而且参数量翻倍。

Wan2.1的单流设计是把空间patch和时间位置编码拼进同一个序列，让同一套注意力层同时处理空间和时间关系。具体来说，假设输入是T帧、每帧切成N个patch，那序列长度就是T×N。位置编码需要同时编码"这是第几帧"和"这是帧内第几个patch"，通常用可分离的时空位置编码或者3D RoPE来实现。这样做的好处是注意力层不需要区分token来自空间还是时间，模型自己会学出哪些token之间该强关联。

代价也很明显：序列长度变成T×N之后，注意力的计算复杂度是O((T×N)²)。一段16帧、每帧256个patch的视频，序列长度就是4096，注意力矩阵是4096×4096，显存和算力开销都不小。所以Wan2.1在实际实现里大概率用了窗口注意力或者稀疏注意力来缓解，这也是单流DiT工程落地的关键难点。我在复现类似结构时的经验是，位置编码的设计比注意力本身更影响最终效果，时空位置编码如果设计得不好，模型会出现"帧间抖动"或者"时间位置混淆"的问题，表现为生成的视频前后帧内容对不上。

2.3 注意力掩码与训练稳定性

单流DiT训练时有个容易被忽视的细节：注意力掩码。因为序列里混了不同帧的token，如果不加掩码，模型在预测第t帧的时候可能会"偷看"到第t+1帧的信息，这在训练时会造成信息泄漏，推理时又拿不到未来帧，导致训练和推理行为不一致。常见的做法是因果掩码或者分块掩码，让每一帧只能看到自己和之前的帧。

但视频生成和语言模型不一样，语言模型是严格的因果预测，视频生成里帧与帧之间是双向依赖的——第t帧既依赖前面的帧，也影响后面的帧。所以Wan2.1更可能采用的是全注意力加时空位置编码的方案，靠位置编码来隐式约束时序关系，而不是硬性因果掩码。这种设计在训练稳定性上要求更高，学习率、梯度裁剪、ema这些技巧都得配合好。我实测下来的体会是，单流DiT在训练初期比U-Net更容易出现loss尖刺，通常需要更长的warmup和更保守的学习率，等模型学到基本的时空结构之后再逐步放开。

3. Flow Matching：把扩散的弯路拉直

3.1 从DDPM到Flow Matching的动机

传统DDPM的加噪和去噪过程是一条弯曲的路径：从数据分布出发，经过上千步逐步加噪变成纯噪声，反向去噪时又要一步步走回去。这条路径之所以弯，是因为每一步加的高斯噪声是独立的，累积起来就形成了随机游走。弯路径的代价是采样步数多——通常要几十到上千步才能出好结果，推理成本高得吓人。

Flow Matching的核心洞察是：既然最终目标是从噪声走到数据，那为什么不直接学一条从噪声到数据的直线路径？直线路径意味着可以用更少的步数走完，理论上甚至一步到位（当然实际做不到那么理想）。它的做法是定义一个概率流ODE，让噪声分布沿着一个速度场流向数据分布，训练目标就是让模型预测这个速度场。相比DDPM预测噪声，Flow Matching预测的是"往哪个方向走、走多快"，这个目标更直接，训练也更稳定。

Wan2.1选Flow Matching，最直接的收益就是采样步数大幅下降。传统扩散模型动辄50步、100步，Flow Matching在视频生成上往往十几步甚至几步就能出可用的结果。对于视频这种单次推理就要生成几十帧、算力开销巨大的任务来说，步数下降带来的效率提升是实打实的。

3.2 直线路径的数学直觉与条件流

Flow Matching的数学形式其实不复杂。假设x0是噪声，x1是真实数据，定义一条直线插值路径x_t = (1-t)x0 + t·x1，t从0到1。这条路径对t求导得到速度v = x1 - x0，是个常数。训练目标就是让模型v_θ(x_t, t)去拟合这个速度。因为速度是常数，模型学起来比DDPM的噪声预测要简单，收敛也更快。

但这里有个问题：x1是真实数据，训练时我们确实知道x1，所以能算出v。可推理时我们只有x0，不知道x1，怎么走？答案是模型学会了从x_t和t预测v之后，就可以用数值积分（比如欧拉法或者Runge-Kutta）从x0一步步积分到x1。步数越多越精确，但Flow Matching的好处是即使步数很少，结果也不会太差，因为路径本身是直的。

条件流是Flow Matching在生成任务里的关键扩展。文本条件、视频条件这些信息怎么注入？做法是把条件c也作为输入，让模型预测v_θ(x_t, t, c)。Wan2.1里c就是umT5编码的文本特征加上Wan-VAE编码的视频潜特征。条件注入的方式通常是cross-attention或者adaLN，前者让文本token和视频token做注意力交互，后者用条件调制归一化层的参数。两种方式各有优劣，cross-attention表达能力强但计算量大，adaLN轻量但条件注入不够精细。Wan2.1大概率是两者结合，在浅层用adaLN做全局调制，在深层用cross-attention做细粒度对齐。

3.3 采样步数与质量的权衡实测

Flow Matching虽然理论上步数少，但实际用的时候步数和质量之间还是有明显的权衡。我拿类似的Flow Matching视频模型做过对比测试，步数从4步到20步，画质和时序一致性都有肉眼可见的差异。

从这张表能看出来，8到12步是性价比最高的区间，再往上加步数收益递减得厉害。Wan2.1官方推荐的步数大概率也在这个范围。实操中我的建议是：如果只是快速预览效果，4到6步足够看个大概；如果要出成品，12步左右是甜点；除非对画质有极致要求，否则没必要上20步以上，纯属浪费算力。

还有个容易被忽略的点是采样器的选择。欧拉法最简单但精度一般，Heun或者Runge-Kutta精度高但每步要算两次模型。Flow Matching的直线路径对采样器不那么敏感，欧拉法通常就够用，这也是它比DDPM省算力的另一个原因。

4. Wan-VAE与umT5：潜空间压缩和文本条件的配合

4.1 Wan-VAE的压缩比与重建质量

Wan-VAE在整条链路里的角色是"翻译官"：把像素空间的视频翻译成潜空间的紧凑表示，让DiT在低维空间里干活，最后再翻译回像素。这个翻译的质量直接决定了最终生成的上限——如果VAE重建本身就糊，DiT再强也救不回来。

视频VAE和图像VAE最大的区别是多了时间维度的压缩。图像VAE通常做8倍空间下采样，视频VAE还要额外做时间下采样，常见的是4倍或者8倍。Wan-VAE的具体压缩比官方没完全公开，但从同类方案推断，空间8倍、时间4倍是比较合理的配置。这意味着一段16帧、512×512的视频，压到潜空间后大概是4帧、64×64的特征图，token数量直接降了两个数量级，DiT的处理压力小了很多。

但压缩比越高，重建质量越难保证。时间压缩太狠会导致快速运动模糊、细节丢失；空间压缩太狠会让纹理变糊。Wan-VAE要在压缩率和重建质量之间找平衡，通常靠增加潜通道数来补偿。我复现类似VAE时的经验是，时间压缩比是视频VAE最敏感的旋钮，从4倍调到8倍，重建PSNR可能掉1到2个点，但DiT的训练速度能快将近一倍。所以这个参数要根据任务类型来定：如果是慢动作、静态场景多的视频，时间压缩可以激进一点；如果是快速运动、动作密集的视频，时间压缩就得保守。

4.2 umT5文本编码器的条件注入方式

umT5是T5系列的多语言变体，Wan2.1用它做文本编码器。为什么不用CLIP？CLIP的文本编码器是为图文匹配训练的，输出的是全局语义向量，适合做粗粒度的条件。但视频生成需要的是细粒度的文本-画面对齐，比如"一只猫从左边跳到右边"这种带空间和时序信息的描述，CLIP的全局向量表达不了。T5这类编码器输出的是token序列，每个token都有独立的表示，配合cross-attention就能实现细粒度的条件注入。

umT5的"um"指的是unigram masked，是T5的一种预训练变体，在多语言任务上表现更好。Wan2.1选它大概率是因为要支持多语言提示词，尤其是中文提示词。CLIP的中文能力一直是个短板，用umT5能明显改善中文场景的生成质量。

条件注入的具体做法是：umT5把提示词编码成token序列，DiT的每一层通过cross-attention让视频token去查询文本token，从而把文本信息融合进来。这里有个实操细节——文本token的长度会影响生成质量。太短了信息不够，太长了注意力分散。通常64到128个token是比较合适的范围，Wan2.1大概率也是在这个区间。写提示词的时候，与其堆一长串形容词，不如把关键的空间关系、动作、风格说清楚，让每个token都承载有效信息。

4.3 潜空间与文本空间的对齐问题

Wan-VAE和umT5是两套独立训练的模块，它们各自在自己的空间里工作，中间靠DiT来桥接。这就带来一个对齐问题：VAE的潜空间和T5的文本空间没有天然的对应关系，DiT要学会把文本语义映射到潜空间的特定区域。

这个对齐过程是训练中最难的部分之一。如果对齐不好，会出现"文本说东、画面出西"的问题，或者文本条件被忽略、生成结果和提示词无关。常见的改善手段包括：在训练时用classifier-free guidance来强化条件信号，用对比学习损失来拉近文本和画面的表示，以及分阶段训练——先让DiT学会无条件生成，再逐步加入文本条件。

我在实操中的一个体会是，CFG的scale不是越大越好。scale太小条件不起作用，scale太大画面会过饱和、色彩失真、运动僵硬。视频生成里CFG scale通常比图像生成要低，图像上常用7到12，视频上5到8往往更合适。Wan2.1的具体推荐值得看官方文档，但调整思路是一样的：从中间值开始，往两边试，找到条件强度和画面自然度的平衡点。

5. 实操中绕不开的几个坑

5.1 显存不够时的降级策略

Wan2.1这种规模的模型，全精度推理对显存的要求相当高。单流DiT的注意力矩阵、VAE的编解码、umT5的文本编码，每一块都吃显存。显存不够的时候，有几个降级策略可以按顺序试。

第一招是降低分辨率和帧数。这是最直接有效的，显存占用大致和分辨率平方、帧数线性相关。512×512降到384×384，显存能省将近一半。第二招是启用梯度检查点，用计算换显存，训练时特别有用，推理时作用有限。第三招是混合精度，fp16或者bf16能把显存占用砍掉近一半，bf16在数值稳定性上比fp16更好，优先选bf16。第四招是分块推理，把长视频切成几段分别生成再拼接，代价是段与段之间的衔接可能不连贯，需要重叠几帧做过渡。

注意：混合精度不是万能的，VAE的解码部分对精度比较敏感，有时候fp16会导致解码出彩色噪点或者画面发灰，这时候把VAE单独保持fp32往往能解决。

5.2 提示词工程的实战技巧

视频生成的提示词和图像生成不一样，多了时间维度，写起来更讲究。我总结了几条实战中比较管用的原则。

先说主体和动作，再说环境和风格。比如"一个穿红裙子的女孩在雨中旋转，背景是霓虹灯街道，电影感，慢镜头"，主体、动作、环境、风格依次交代，模型更容易抓住重点。用具体的动词而不是抽象的形容词。"旋转"比"优雅"有用，"奔跑"比"有活力"有用，因为动词对应明确的运动模式，模型学得到。控制提示词长度。太短信息不足，太长注意力分散，一般30到80个词是比较舒服的区间。善用负面提示词。视频生成常见的负面项包括"模糊、抖动、变形、多手多脚、画面撕裂"，把这些写进负面提示能明显减少废片率。

还有个进阶技巧是分镜式提示词，把一段视频拆成几个时间段分别描述，比如"0到2秒：镜头从远处推近；2到4秒：人物转身面向镜头；4到6秒：镜头拉远"。这种写法对长视频的时序控制很有帮助，但要求模型支持时间条件注入，Wan2.1是否原生支持得看具体实现。

5.3 时序一致性的排查思路

时序一致性是视频生成最头疼的问题，表现为帧间抖动、物体形变、颜色漂移。排查的时候我一般按这个顺序走。

先看是不是采样步数太少。步数不够时，Flow Matching的积分误差大，帧间容易出现不一致，把步数从8加到12往往能改善。再看是不是CFG scale太高。条件强度过大时，模型会过度拟合文本条件而忽略时序平滑，适当降低CFG scale通常有效。然后看是不是VAE时间压缩太激进。时间压缩比高的时候，快速运动容易糊，换成时间压缩更保守的VAE能缓解。最后看是不是训练数据本身时序标注质量差。这个属于模型层面的问题，推理阶段调参救不回来，只能等更好的权重。

还有个容易被忽视的点是随机种子的影响。同一个提示词换不同种子，时序一致性可能差很多。实操中我会固定种子跑几个候选，挑一致性最好的那个再微调提示词，这样比盲目调参效率高。

6. 这套架构往后还能怎么走

把Wan2.1这套东西拆完，我最大的感受是：视频生成的底层范式正在从"图像扩散加时间维"转向"原生时空建模"。DiT加Flow Matching的组合不是终点，但它指出了一个方向——用统一的Transformer主干处理时空token，用更直的生成路径降低采样成本，用更强的条件编码器提升可控性。

从工程角度看，接下来值得关注的点有几个。一是注意力的效率优化，单流DiT的O(n²)复杂度是绕不过去的坎，线性注意力、状态空间模型这些方案能不能接进来是个看点。二是VAE和DiT的联合训练，现在两阶段训练存在对齐损失，端到端联合优化理论上能提升上限，但训练难度也大得多。三是更长视频的生成，现在主流还是几秒到十几秒，要往分钟级走，时序建模和显存优化都得有新的突破。

我在实际折腾这类模型的过程中，越来越觉得理解架构比调参重要。参数怎么调、提示词怎么写，这些是术；知道模型为什么这么设计、瓶颈在哪、什么改动会有连锁反应，这些是道。Wan2.1的每个模块选择背后都有明确的工程动机，把这些动机搞清楚了，遇到新模型、新任务的时候，你就能自己判断该怎么迁移、怎么改。这比记住几个推荐参数值有用得多。