企业官网建设流程全解析

先说明一句，Text2Video这个系列写到第4篇，前几篇我们把扩散模型的基础、文本编码器的选择、视频VAE的压缩逻辑都过了一遍，到了DiT这块，算是整个视频生成链路里最硬核的一环。很多人看完Sora的技术报告，第一反应是“原来U-Net被扔掉了”，第二反应就是“DiT到底是什么，凭什么它能预测噪声”。这篇就把DiT这个噪声预测器彻底讲透，从数学原理到代码细节，再到训练时最容易翻车的那些坑，一次性说清楚。

1. 内容整体设计与思路拆解

1.1 为什么视频生成绕不开“噪声预测器”这个概念

先把扩散模型的老底翻出来。无论图像也好、视频也好,基于扩散的生成模型,核心套路都是两段式:前向过程往干净数据上逐步加高斯噪声,直到变成纯高斯白噪声;反向过程则是学习一个网络,把带噪数据一步步还原干净。这个负责还原的网络,在DDPM那一代论文里的角色定义就很直接——“denoising network”,但它内部真正的预测目标不是直接输出图像/视频像素,而是噪声本身。

为什么预测噪声而不是直接预测视频?这就得说DDPM推导里的重参数化技巧了。前向过程里,给定干净样本 $x_0$，任意时刻 $t$ 的带噪样本可以写成：

$$x_t = \sqrt{\bar{\alpha}_t} x_0 + \sqrt{1-\bar{\alpha}_t} \varepsilon$$

其中 $\varepsilon$ 是采样自标准正态分布的纯噪声，$\bar{\alpha}_t$ 是累积噪声调度的乘积。既然前向过程是“干净数据加噪”，那反向过程最自然的做法就是让网络学会“把噪声减掉”。所以训练目标就变成了让网络预测出被加进去的 $\varepsilon$，再拿这个预测值和真实噪声算MSE，梯度反传更新网络。

这套逻辑搬到视频上完全成立。视频无非是多帧图像，外加时间维度的连续性约束。预测噪声的时候，网络不仅要知道“这一帧的噪声长什么样”，还得理解“帧与帧之间的噪声在时间轴上是否自洽”。这就是为什么视频生成里噪声预测器的架构不能直接照搬图像的——你得给网络喂3D的输入，让它在一个统一的时空空间里去预测噪声。

同一套逻辑，DDIM把采样过程简化成“预测噪声，然后逐步去噪”，Classifier-free guidance通过同时训练条件和无条件两支来拉高生成质量，这些上层玩法统统建立在“网络输出是噪声预测”这个约定上。所以别看DiT这个名字听起来高大上，它的核心职责没变——依然是那个噪声预测器，只是把骨架从卷积网络换成了Transformer。

1.2 从U-Net到DiT：视频生成架构的关键转折

讲DiT之前，必须先把它的前任U-Net讲清楚，不然你不知道这次架构替换动了哪根筋。

U-Net做噪声预测的基本套路是编码器-解码器对称结构，中间夹着跳跃连接（skip connection)。编码器逐层下采样，把分辨率压缩，让感受野变大；解码器逐层上采样，把语义信息还原到原始分辨率；跳跃连接则把编码器各层的细节特征直接接到解码器对应层，防止细节丢失。这套设计放在图像扩散模型里非常稳，所以在DDPM、LDM、Stable Diffusion时代一直是绝对主力。

但视频来了以后，U-Net开始力不从心。首先，视频数据的张量是 $[B, C, F, H, W]$，U-Net里的2D卷积和2D注意力只能逐帧处理，帧间关系要么靠额外插入的时间注意力模块补救，要么靠2D+1D分解的卷积（先空间后时间）来近似。这种“空间模块处理帧内，时间模块处理帧间”的做法本质上是在做解耦建模，时间信息的流动路径长、效率低。

其次，视频生成对全局时空一致性的要求比图像高得多——同一个物体在不同帧里的颜色、纹理要一致，运动要连贯，遮挡关系要正确。U-Net的局部卷积归纳偏置（inductive bias）在图像上算是优点，因为它天然适合提取局部纹理；但到了视频上，局部性反而成了枷锁，远处的时空依赖要堆很多层下采样和注意力才能建立起来，计算开销还爆炸。

DiT的思路是：干脆放弃卷积的局部偏置，把视频切成一串token，扔进Transformer里做全局的时空混合。这个方向其实ViT已经在视觉分类上验证过了，只是DiT把它用到扩散模型的噪声预测上，并且额外加了很多针对扩散过程的特殊设计。

转折的标志性事件就是Sora。OpenAI的技术报告明说了在扩散Transformer上做训练，后续的可灵、Runway Gen-3、Luma Dream Machine全部跟进，单流DiT几乎成了新一代视频生成架构的代名词。这个转折的本质是：当数据量足够大、算力足够强的时候，去掉卷积的归纳偏置、让模型纯粹靠数据和scale去学习时空结构,反而能拿到更好的效果。

2. 核心细节解析与实操要点

2.1 DiT输入侧的“视频打碎术”：Patch化与Token化

视频进入DiT之前，先要过一道关键的预处理：patch化（patchify）。这一步是把原始的视觉张量切碎成小块，然后映射成token序列。

假设我们的视频张量是 $[B, C, F, H, W]$。Patch化做的事就是把它切成若干个 $p_t \times p_h \times p_w$ 的小立方体，时间维度切 $p_t$，高度切 $p_h$，宽度切 $p_w$，每个小立方体展平后过一次线性映射，投影到模型的隐空间维度 $d$。这样每个patch就成了一个token，token的数量是：

$$T = \frac{F}{p_t} \times \frac{H}{p_h} \times \frac{W}{p_w}$$

这个超参为什么重要？因为它直接决定序列长度。对于视频来说，序列长度可比图像夸张多了——一个 $F=16, H=64, W=64$ 的潜在视频，如果patch size取 $2 \times 4 \times 4$，那token数量就是 $8 \times 16 \times 16 = 2048$ 个。如果patch切得再细，比如 $1 \times 2 \times 2$，那token数量直接飙到8192。

自注意力的计算复杂度是 $O(T^2)$，token数量翻四倍，注意力计算量就翻十六倍。所以DiT里patch size的选择本质上是在“局部细节保真度”和“计算开销”之间做权衡。我在实际实验中的经验是：patch size往大了取，容易丢失高频细节，生成出来的视频边缘糊、纹理平；patch size往小了取，效果好了但显存爆炸，尤其视频本身帧数还多。很多团队的做法是先用大patch size训练一个基础模型，再用小patch size做微调去提升清晰度，这属于性价比很高的两阶段策略。

再说一个细节：patch化之后的线性映射，部分实现里会直接复用一个卷积层来干，因为Conv3d天然就是在做“切块+映射”的操作，把stride设成patch size就等于非重叠切块。工程上这样实现效率更高，不用显式做reshape。

2.2 DiT的核心模块拆解：自注意力、交叉注意力、前馈网络

DiT的主干是一个标准的Transformer encoder堆叠，每个block里通常包含四大件：自注意力（self-attention）、交叉注意力（cross-attention，用于注入文本条件）、前馈网络（MLP）、层归一化（LayerNorm）。视频DiT里通常还会在自注意力之后加一个时间注意力模块，或者把空间和时间融合进同一个注意力计算。

自注意力负责建模视频token之间的时空关系。这里有一个关键的设计分支：联合注意力还是分解注意力。

联合注意力是把所有token（含空间和时间维度）拼成一个大序列，一起做全量注意力。好处是任意两个token之间都能直接交互，空间信息和时间信息彻底融合；坏处是计算复杂度极高，16帧以上的长视频序列长度轻松过万，全量注意力基本没法训。

分解注意力是先把空间维度拉平，做一轮空间注意力和时间注意力，然后再做一轮时间注意力。这种设计更像是“3D卷积的Transformer版本”——空间注意力搞定帧内的结构关系，时间注意力搞定帧间运动关系。PixArt系列和很多开源视频模型用的是先空间后时间的两段式注意力，计算量可控，训练也相对稳定。

从效果上看，单流DiT做大尺寸模型时通常选联合注意力，因为全局语义的一致性更好；中小尺寸模型为了能跑起来，选分解注意力更务实。这个选择我在下面“单流DiT的时空建模”一节还会展开，先记住这个原则即可。

交叉注意力是把文本特征喂进DiT的主要通道。DiT block内部通常会有额外的cross-attention层，query来自视觉token，key/value来自文本编码器的输出。文本经过CLIP或T5编码后得到序列 $[L, d]$，和视觉token做注意力交互，让每个视频token都能“看到”对应的语义信息，知道该往哪个方向去噪。

有些DiT实现不用cross-attention，而是把文本序列直接concat到视觉token前面，让它们在自注意力里自然融合。这个做法在语言模型里叫prefix-LM，实现更简单，但是文本和视觉之间的attention规模会变大，且融合的精细度不如单独的cross-attention好控制。

2.3 条件注入的核心机制：adaLN-Zero凭什么成为标配

噪声预测器不是孤立地预测噪声，它必须知道“当前去噪到了哪一步”以及“用户想生成什么”。前者靠时间步 $t$ 的embedding注入，后者靠文本条件注入。DiT对这两个条件的处理用了一套专门的设计——adaLN-Zero（adaptive layer normalization with zero-centered conditioning）。

常规的Conditional LayerNorm是让条件向量经过一个小MLP回归出scale和shift参数，作用在归一化后的特征上。adaLN-Zero在此基础上做了两点增强：第一，回归的不只是scale和shift，还包括门控系数 $\alpha$，一共有六组参数 ${\alpha, \beta, \gamma}$ ，分别作用于自注意力、交叉注意力、MLP三个阶段；第二，所有参数在初始化时全部置零，意味着训练初期条件信息完全不干预主干网络，让主干先学会处理无条件的噪声预测，再逐步学习条件引导去噪。

这个设计背后的直觉很有意思。扩散模型训练的早期阶段，网络的首要任务是学会“什么是噪声、什么是信号”，这个阶段如果条件信息太强势，反而会干扰主干建立基本去噪能力。adaLN-Zero的零初始化相当于给了主干一个底气——“你先自己学明白去噪的基本功，后面我再慢慢告诉你每句话该怎么生成”。

实际训练效果也确实如此。有消融实验证明，adaLN-Zero比传统的cross-attention + AdaLN方案训练更稳、收敛更快，最终效果也更好。我们在视频模型训练中也复现了这一点：同样的数据、同样的步数，adaLN-Zero版本在FID/VBench指标上稳定优于普通AdaLN版本。

3. 实操过程与核心环节实现

3.1 最小可用的DiT训练框架搭建

理论讲再多，不如动手搭一个能跑的训练pipeline。我给出一个极简但完整的DiT训练思路，不依赖任何特定框架，只说明核心组件。

第一步是数据准备。视频扩散模型的输入不是原始像素，而是VAE编码后的潜在空间张量。实操时先把视频用VAE encode成 $[B, C, F, H', W']$ 的latent，C通常是4或16，空间分辨率比原像素缩小8倍。注意这个预备步骤可以离线做，把原视频一次性编码成latent存盘，训练时直接读latent，省去每次训练都在线编码的开销。

第二步是噪声调度。训练时每个batch内随机采样时间步 $t \in [0, 1]$（用flow matching时）或 $t \in [0, 1000]$（用DDPM调度时），根据调度函数计算噪声强度，合成带噪视频。合成方式非常简单：

import torch # x0: clean latent video [B, C, F, H, W] # t: random timesteps [B] # noise: random gaussian [B, C, F, H, W] noise = torch.randn_like(x0) alpha, sigma = schedule(t) # alpha^2 + sigma^2 = 1 for flow matching x_t = alpha[:, None, None, None, None] * x0 + sigma[:, None, None, None, None] * noise

第三步是前向预测和损失计算。把 $x_t$ 和 $t$ 的embedding、文本条件一起送入DiT，网络输出预测的噪声（或速度向量），和真实噪声计算MSE损失。flow matching的损失目标稍有不同，它让网络预测速度 $u$，但公式形式和MSE几乎一样，区别只在target的定义上。后面我会专门写一节对比。

第四步是优化器与学习率。视频DiT通常用AdamW，学习率从1e-4起步，配合warmup和cosine decay。训练batch size受显存限制，小模型用32就行，大模型得配合梯度累积和混合精度。

一个完整的训练step核心代码大概长这样：

# forward pred = dit(x_t, t, text_cond) # loss: MSE between predicted noise and real noise loss = torch.nn.functional.mse_loss(pred, noise) # backward optimizer.zero_grad() loss.backward() torch.nn.utils.clip_grad_norm_(dit.parameters(), max_norm=1.0) optimizer.step()

看起来就这么简单，但真正把视频DiT训稳，坑全在细节里。

3.2 视频DiT训练的三组关键超参

第一组是分辨率与帧数的搭配。同样一个模型，在256x256x16帧上能跑通的东西，搬到512x512x32帧上可能直接OOM。视频DiT的训练通常采用渐进式训练——先在低分辨率、少帧数上训稳定，再逐步提升分辨率、增加帧数。这不仅是显存策略，也是收敛策略。低分辨率阶段模型学到的是全局结构和运动模式，高分辨率阶段再精修细节纹理。

第二组是batch size和gradient accumulation的关系。Transformer的收敛极度依赖batch size，batch太小BN都救不了（实际上Transformer也不用BN，用的是LayerNorm）。视频训练里batch size往往被显存卡得死死的，这时候gradient accumulation可以把多step的梯度累计起来冒充大batch。但要注意三件事：loss scaling要做好、BN不能用（DiT不用所以没事）、梯度裁剪要放在真实梯度上而不是每步裁剪。

第三组是EMA（指数移动平均）的decay系数。扩散模型的常用做法是维护一份参数的EMA副本用于采样，因为EMA参数比最终训练参数更平滑、生成质量更高。视频DiT训练中EMA decay通常设在0.999到0.9999之间，数值越大表示历史权重越大，参数更新越慢。实际操作时EMA的复制每N步做一次同步，否则显存里两份模型参数开销太大。

3.3 Flow Matching目标与DDPM目标的选择逻辑

论文读到这里的人都绕不开一个问题：DiT到底该用DDPM的噪声预测目标，还是Flow Matching的速度预测目标？我的结论是，新项目直接上Flow Matching，原因有三。

第一，Flow Matching的公式更干净。它不涉及复杂的噪声调度表、不涉及 $\bar{\alpha}_t$ 的累积计算，只需要定义一条从噪声到数据的直线插值路径，训练目标就是让网络学会预测这条路径上的速度。第二，采样步数可以更少。Flow Matching模型通常20到40步就能出不错的结果，DDPM动辄几百步，虽然DDIM也能压缩步数，但flow matching的可压缩性和质量保持度实测更好。第三，业界新模型的验证。

Flow Matching的前向过程可以这样理解：给定干净数据 $x_0$ 和标准噪声 $\varepsilon$，定义在时间 $t$ 上的插值：

$$x_t = (1-t) \cdot x_0 + t \cdot \varepsilon$$

其中 $t$ 从0到1。当 $t=0$ 时 $x_t=x_0$，当 $t=1$ 时 $x_t=\varepsilon$。这个路径的速度就是 $u = \varepsilon - x_0$，网络的任务则是根据 $x_t$ 和时间 $t$ 预测这个速度向量。

采样的时候从纯噪声出发，沿着网络预测的速度方向逐步走回数据分布：

# sampling with flow matching x = torch.randn_like(x0_like) for i in range(num_steps): t = i / num_steps pred_velocity = dit(x, t, text_cond) x = x + pred_velocity * (1.0 / num_steps)

这套逻辑比DDPM少了很多数学上的弯弯绕绕，实现简单、调参也简单。现在大量开源的视频生成项目已经把训练目标从DDPM切到Flow Matching，DiT + Flow Matching基本成了定式。

4. 单流DiT的时空建模与架构演进

4.1 单流DiT到底是什么意思

“单流”是最近视频生成领域最热门的架构关键词。它的完整叫法是Single-stream DiT，意思是空间和时间信息在同一个Transformer block里、用同一个注意力机制完成建模，而不是把空间注意力和时间注意力拆成两个独立的block串行堆叠。

双流设计的经典结构是这样：DiT block内部先做一次空间自注意力（对每一帧分别处理），再做一次时间自注意力（对应位置跨帧交互）。空间和时间解耦，好处是每层的计算量可控，建模过程可解释；坏处是空间和时间信息的交互不够直接——某一层的空间信息要经过一层完整的时间注意力才能和别帧的空间信息融合，信息链路长，长距离时空依赖建模能力受限。

单流设计则是把3D patch序列的所有token丢进同一个自注意力里，一张注意力图上同时刻画了“帧内空间关系”和“帧间时间关系”。只有这种全量交互才能让模型天然学到“这个物体在第5帧的这个位置，对应第8帧的那个位置”这种细粒度时空对应关系。Sora用的就是这种设计。

从工程角度说，单流DiT的Attention矩阵是 $[T, T]$，其中 $T$ 是所有时空token的总数，这个矩阵乘法代价巨高。所以单流DiT实际训练时都会配合GQA（分组查询注意力）或者FlashAttention来把计算效率拉上去。近半年业界新发的视频生成模型里，只要规模够大，几乎全是单流DiT路线。

4.2 为什么视频生成最终倒向了单流DiT

这个转向背后是尺度定律（scaling law）在起作用。早期视频生成模型体量小，双流DiT因为参数效率高、训练稳定，是起步阶段的好选择。但当模型参数从1B涨到5B、10B，双流从一个“结构化先验”变成了“瓶颈”——空间和时间之间的隐性关系需要跨越更多层才能建立，参数涨了但信息效率没跟上。

单流DiT没有这种瓶颈，所有token一律平等对待，建模能力随参数规模线性甚至超线性增长。数据足够多的时候，这种无先验的全量注意力设计能把数据里蕴含的时空模式学得更透。你看可灵和Runway发的技术报告，参数规模一上去，全部转单流。

另外，单流DiT还有个隐性优势：实现简洁。双流需要维护两个不同的注意力mask逻辑，还要考虑空间注意力和平时间注意力的组合方式，调试复杂。单流只需要一份attention，写代码更省事，也更容易用上社区里成熟的large-scale分布式训练框架。

5. 常见问题与排查技巧实录

5.1 训练不收敛的典型症状与对策

视频DiT训练最让人头皮发麻的场景就是loss死活降不下去。先别急着调模型，先检查三样东西：数据有没有对齐、时间步采样分布正不正常、学习率是不是过高。

视频数据的对齐问题比图像严重得多。我踩过的一个坑是：数据管线里的视频帧率不统一，有的视频10fps、有的30fps，直接导致同一时间步 $t$ 在不同样本上对应的运动速度完全不同，模型被这种“同t不同义”的样本搞糊涂，loss在某个平台期上死活下不去。解决办法是把所有训练视频统一重采样到固定帧率，或者更稳妥的做法是按帧数分组后分别训练。

时间步采样分布也可能出问题。Flow Matching训练时 $t$ 理论上应该在 $[0,1]$ 均匀采样，但如果生成阶段更关注中间和后期去噪质量，可以适当调整采样分布，加权重置中间区间。不过训练初期还是老老实实用均匀分布，别一上来就做weighted sampling。

学习率是第三个嫌疑。DiT这种大规模Transformer对学习率极其敏感，1e-4跑得很稳的温度，换到1e-3可能直接爆炸。如果训练初期loss就不降反升，大概率是学习率过冲，下调一个数量级再试。

5.2 推理生成视频闪烁、运动停滞怎么办

训练好的DiT采样时常见的翻车现场有三个：画面剧烈闪烁、运动僵化不动、文本控制不精准。

先说闪烁。这个问题大概率出在VAE的时序不一致上——单帧VAE的编码空间里帧间自洽性不够，DiT预测的噪声虽然正确，但解码出来的视频帧间亮度、颜色、纹理跳变。对策有三种：训练时在latent上加时序一致性的正则项；换一个更强的视频VAE（比如用带时间注意力的VAE，或空间-temporal disentangle的VAE）；解码时做时序平滑后处理。

运动僵化是另一个高频问题。模型生成出来的视频每帧都清晰，但内容几乎不动，像图片轮播。这个现象的根源往往是训练数据里静态视频过多。视频数据的运动丰富度直接决定模型学到的运动先验。如果你的数据里有大量“人物坐着不动”的采访镜头，模型学到的就是“生成静态内容”的偏置。解决办法是在数据筛选阶段增加运动评分指标，过滤掉运动量过低的样本。

文本控制不精准通常是条件注入强度不够。检查一下cross-attention的参与度，或者调整classifier-free guidance的权重。视频生成里CFG权重不能照搬图像的7.5，很多视频模型的最佳权重反而在3到6之间，再高画面会过饱和、运动也会失真。这个值最好在验证集上花时间扫一遍。

5.3 显存不够时的实用优化方案

视频DiT对显存的吞噬能力几乎是无限的。这个问题在工程上绕不开，分享几个实测有效的优化手段。

第一，用gradient checkpointing。这是显存优化里性价比最高的一招，用“重计算”换取“不缓存中间激活”，train时的显存开销能降30%到50%，代价只是慢10%到20%。视频Transformer的激活量巨大，开checkpointing几乎是必选项。

第二，用混合精度训练。BF16在NVIDIA A100/H100上表现极佳，对比FP16稳定得多。大部分Schmidhuber式的数值问题在BF16下都不出现。条件是使用现代GPU（A100及以上），在V100上还是老老实实用FP16加动态loss scaling。

第三，做patch size的动态调整。训练时随机采样多种patch size，较大的patch size保证模型看到全局结构，较小的patch size补充高频细节。这个策略既能控制峰值显存，又能在同一个模型里学习多尺度表示，实测在视频生成上效果不错。

6. 实操心得与经验总结

6.1 DiT架构选型的决策清单

走到最后，把选型经验整理成清单，方便不同资源条件的人直接“抄作业”。

训练稳定性上，有个经验值得记下：第一周训练如果模型loss一直能稳降，后面基本不会爆雷；但loss在某个值附近震荡超过两天就要警觉，大概率是数据问题或学习率问题，别傻等第三天的奇迹。

6.2 数据配比和文本质量对DiT效果的影响权重

很多人把注意力全放在模型结构上，忽略了数据配比的决定性影响。Text2Video模型里，训练数据的“文本-视频”匹配度几乎决定了CFG引导的质量。我试过用一套纯中文描述的数据集去训DiT，文本编码用的CLIP，生成时输入英文prompt，效果非常糟糕——因为CLIP的英文特征空间和训练数据的中文描述分布错位。

更隐蔽的问题是数据里的文本描述太长。视频生成里文本描述往往会被截断或padding，如果训练时文本长度分布和推理时分布不一致，模型在长文本条件下的生成效果会断崖式下跌。建议训练时对文本长度做截断策略，比如90%的样本截到120 token以内，剩下的10%保留更长文本让模型见过长文本长什么样。

6.3 从零训练还是加载预训练：两种路径的实操对比

视频DiT的训练成本动辄数万GPU小时，对绝大多数团队来说，从零训练根本不现实。

路线一：加载一个图像DiT预训练权重，把patch化层的权重复制扩展成3D版本，然后只训练新初始化的时间相关参数，冻结空间部分，等loss收敛后再全部解冻。这个方案能从“图像先验”里继承大量视觉结构知识，视频模型训练速度快很多。缺点是空间和时间能力不对等，初期视频可能看起来像“图像在动”而不是“视频在运动”。

路线二：直接加载一个开源的视频DiT权重做微调，比如社区里流传的一些小规模视频模型。这个方法上手最快，但最大的限制是开源视频模型太少了、质量参差不齐，而且基于某个特定VAE训练的DiT换了自己的VAE之后需要重新对齐latent空间，否则直接崩。

我个人的经验是：如果目标是产品化、快速迭代，路线二最现实；如果目标是发论文、探索新结构，路线一更合适。无论哪种路线，核心都是把DiT当作“可以reload的噪声预测器”，而不是每次从头学。

DiT的内容到这里，Text2Video系列里最硬的骨头也算啃完了。从数学原理到工程实现，从双流到单流，从DDPM到Flow Matching，这套东西的演化脉络说到底就是一代代从业者在“生成质量”和“可规模化”之间不断找平衡的过程。后面如果要继续写，大概率是围绕采样加速和视频后处理展开，那些内容跟DiT的关系同样紧密。