企业官网建设流程全解析

1. 为什么dropout值得单独拿出来讲

但凡做过深度学习项目的人，几乎都在网络里加过dropout。nn.Dropout(p=0.5)一行代码，训练时随机扔掉一半神经元，测试时全部启用，看起来简单到不需要多想。但真正在调模型的时候你会发现，同样是dropout，有人加了之后验证集准确率涨了两个点，有人加了之后模型直接不收敛，还有人加了之后训练集都拟合不了。问题出在哪儿？出在dropout不是一个单一操作，而是一整个家族的方法体系。

我最初接触dropout是在一个图像分类项目里，当时模型在训练集上准确率冲到99%，验证集卡在72%死活上不去，典型的过拟合。加了标准dropout之后验证集到了78%，但训练变得非常慢。后来换了 Spatial Dropout，同样的网络结构，验证集直接到了81%，而且训练速度几乎没受影响。那次经历让我意识到，dropout方法的选择和网络结构、数据模态强相关，选错了不仅没效果，还可能帮倒忙。

这篇文章要拆解的，就是DNN、CNN、RNN三大类网络结构中12种主要dropout方法的数学原理和视觉直觉。我会把每种方法的公式写清楚，更重要的是解释它为什么这么设计、在什么场景下用、参数怎么调。适合已经写过基础神经网络、想深入理解正则化机制的读者，也适合正在调模型但不确定该用哪种dropout的从业者。全文基于我自己的项目实践和论文阅读整理，涉及具体参数的地方会给出计算过程，方便你直接套用到自己的模型里。

2. 标准Dropout：一切的基础

2.1 数学定义与前向传播

标准dropout的操作可以用一句话概括：训练时以概率p随机将神经元的输出置零，同时将保留的神经元输出除以(1-p)进行缩放。数学上，对于一个输入向量x，dropout后的输出为：

r_j ~ Bernoulli(1-p) y_j = r_j * x_j / (1-p)

这里的r_j是一个服从伯努利分布的随机变量，取1的概率是1-p，取0的概率是p。除以(1-p)这一步叫做inverted dropout，目的是让训练和测试时的期望输出保持一致。如果不做这个缩放，训练时神经元的期望输出是(1-p)*x，测试时是x，两者不一致，会导致测试时的输出分布偏移。

我见过不少人在自己实现dropout时忘了这个缩放，结果测试集表现比验证集差一大截，排查半天才发现是期望不匹配的问题。所以记住：训练时缩放，测试时不动，这是inverted dropout的核心。

2.2 视觉直觉与梯度流分析

从视觉上理解，标准dropout相当于在每次前向传播时，从网络中采样出一个“子网络”。一个有个N个神经元的层，理论上可以采样出2^N个子网络。训练过程相当于对这些子网络做集成学习，测试时用完整网络近似这个集成的平均效果。

这个视角解释了一个常见困惑：为什么dropout在测试时不需要做任何随机操作？因为完整网络的输出已经近似了所有子网络输出的几何平均。这也是为什么dropout能起到正则化作用——它强迫每个神经元不能过度依赖其他特定神经元的存在，必须学到更鲁棒的特征。

从梯度流的角度看，被丢弃的神经元梯度为零，保留的神经元梯度被放大1/(1-p)倍。这意味着dropout实际上在训练时引入了噪声，这个噪声的方差与p相关。p越大，噪声越大，正则化效果越强，但训练也越困难。经验上，全连接层用p=0.5，卷积层用p=0.2到0.3，输入层用p=0.1到0.2，这是一个比较安全的起点。

注意：dropout只在训练时启用，测试时必须关闭。PyTorch里用model.train()和model.eval()切换，TensorFlow里用training参数控制。忘了切换是新手最常见的错误之一。

3. DNN中的Dropout变体

3.1 DropConnect：从丢弃神经元到丢弃连接

DropConnect的思路和标准dropout很像，但操作对象从神经元输出变成了权重连接。标准dropout是把某个神经元的输出置零，DropConnect是把权重矩阵W中的某些元素置零。数学上：

W_ij' = M_ij * W_ij / (1-p)

其中M_ij是伯努利掩码。输出变成y = f(W'x + b)。

这两者的区别很微妙但很重要。标准dropout丢弃一个神经元，意味着这个神经元的所有输出连接都被切断；DropConnect丢弃一个连接，神经元本身还在，只是某条边断了。从子网络采样的角度看，DropConnect的假设空间更大，因为它可以采样出更多不同的网络结构。

实测下来，DropConnect在小规模全连接网络上比标准dropout略好，但在大模型上优势不明显，而且实现复杂度更高。我一般只在参数量特别大、过拟合特别严重的全连接层上考虑用它。实现时要注意，DropConnect的掩码是在权重上采样的，不是激活值上，所以同一个batch内不同样本共享同一个掩码，这和标准dropout不同。

3.2 高斯Dropout：连续噪声替代二值噪声

标准dropout的噪声是二值的——要么保留，要么丢弃。高斯Dropout换了一种思路：不丢弃神经元，而是给每个神经元的输出加上高斯噪声。数学上：

y_j = x_j + ε_j, ε_j ~ N(0, σ²)

训练时噪声的方差σ²与p相关，测试时用期望值。这种方法的直觉是：二值噪声太粗暴了，连续噪声更平滑，梯度估计的方差更小。

高斯Dropout的一个变体是变分Dropout，它把噪声方差也作为可学习参数。我在一个回归任务上试过，高斯Dropout比标准dropout的收敛曲线更平滑，最终误差低了大约3%。但它的计算开销比标准dropout大，因为每个元素都要采样高斯噪声，而不是简单的伯努利采样。

3.3 最大范数约束：Dropout的搭档

最大范数约束经常和dropout一起用，虽然它本身不是dropout方法，但作用机制互补。它的操作是：每次参数更新后，如果某个神经元的权重向量的L2范数超过阈值c，就把它缩放到c。数学上：

if ||w||_2 > c: w = w * c / ||w||_2

这个约束防止个别神经元的权重变得过大，从而避免模型过度依赖少数神经元。和dropout配合使用时，dropout负责在训练时引入随机性，最大范数约束负责限制权重的增长方向，两者结合能让训练更稳定。

我通常把c设为3到4之间，具体值要看权重初始化的尺度。如果权重初始化用的是He初始化，c可以设大一点；如果用Xavier初始化，c设小一点。这个参数对最终效果的影响没有dropout概率那么大，但调好了能提升1%左右的准确率。

4. CNN中的Dropout方法

4.1 标准Dropout在卷积层的问题

直接把标准dropout用在卷积层上，效果通常不好。原因在于卷积层的特征图具有空间相关性，相邻像素共享相似的语义信息。如果随机丢弃单个像素，被丢弃像素的信息可以从邻居那里推断出来，正则化效果大打折扣。

更严重的是，卷积层的参数量远小于全连接层，每个参数被使用的频率更高。标准dropout在卷积层上会引入过大的噪声，导致模型难以学习到有效的卷积核。我早期在一个图像分类项目里，在卷积层后面加了p=0.5的标准dropout，结果训练loss震荡严重，最后准确率比不加还低。

所以卷积层的dropout需要专门设计，核心思路是：要么按通道丢弃，要么按区域丢弃，保持空间结构的一致性。

4.2 Spatial Dropout：按通道丢弃

Spatial Dropout的操作是：随机丢弃整个特征图通道，而不是单个像素。对于一个形状为(N, C, H, W)的特征图，Spatial Dropout生成一个形状为(N, C, 1, 1)的掩码，同一个通道的所有空间位置共享同一个掩码值。

数学上，对于第c个通道： M_c ~ Bernoulli(1-p) Y_c = M_c * X_c / (1-p)

这样做的好处是保持了空间相关性，同时正则化强度适中。因为丢弃整个通道意味着这个通道提取的特征完全不可用，网络必须学会从其他通道中恢复信息，这比丢弃单个像素的约束更强。

我在一个语义分割项目里对比过标准dropout和Spatial Dropout，后者在验证集上的mIoU高了2.3个百分点，而且训练曲线更稳定。Spatial Dropout的p值一般设在0.1到0.3之间，比全连接层的0.5要小，因为卷积层的冗余度更低。

4.3 DropBlock：按块丢弃

DropBlock是Spatial Dropout的升级版。Spatial Dropout丢弃整个通道，但通道内的空间信息是完整的；DropBlock则是在每个通道上丢弃一个连续的方块区域。数学上：

1. 生成一个与特征图同形状的伯努利掩码，保留概率为1-p
2. 对掩码做核大小为block_size的max pooling，得到块状掩码
3. 用块状掩码乘以特征图，并做归一化

DropBlock的核心参数是block_size和p。block_size控制丢弃区域的大小，p控制丢弃的比例。归一化因子是(1-p)乘以有效区域面积的比例。

这个方法的直觉是：卷积层的特征图中，相邻区域的信息高度相关，丢弃单个像素或整个通道都不如丢弃一个连续区域来得有效。DropBlock强迫网络在缺失局部信息的情况下仍然能做出正确预测，从而学到更鲁棒的特征。

我在一个目标检测项目里用过DropBlock，block_size设为7，p设为0.1，在COCO风格的数据集上mAP提升了1.8个点。但要注意，block_size不能设得太大，否则会丢弃过多信息导致欠拟合。一般block_size取特征图尺寸的1/8到1/4比较合适。

4.4 Stochastic Depth：随机跳过整个层

Stochastic Depth的思路更激进：训练时以一定概率直接跳过整个残差块，测试时使用完整网络。数学上，对于第l个残差块：

H_l = ReLU(f_l(H_{l-1}) + H_{l-1}) （正常路径） H_l = H_{l-1} （跳过路径）

训练时以概率p_l选择跳过路径，测试时所有块都启用，但输出要乘以保留概率做缩放。

这个方法的直觉是：残差网络本身就有跳跃连接，Stochastic Depth相当于在块级别做dropout。它特别适合非常深的网络，因为深网络中很多残差块的作用是冗余的，随机跳过一些块不会影响最终效果，反而能加速训练。

我在一个超过100层的残差网络上试过Stochastic Depth，训练时间缩短了约25%，最终准确率还高了0.5%。p_l的设置通常是从0到0.5线性增加，浅层块保留概率高，深层块保留概率低，因为深层特征更抽象，冗余度更高。

4.5 Cutout与Random Erasing：输入空间的Dropout

Cutout和Random Erasing严格来说不是网络内部的dropout，而是在输入图像上做遮挡。Cutout是随机选择一个固定大小的正方形区域置零，Random Erasing是随机选择一个矩形区域用随机值填充。

数学上，对于输入图像I： I' = I * (1 - M) + noise * M

其中M是遮挡区域的掩码。

这两种方法的作用机制和dropout类似：强迫模型不能依赖图像的局部区域，必须从全局信息中学习。在图像分类任务上，Cutout通常能带来1%到2%的准确率提升，而且实现极其简单，几乎不需要调参。

我在一个细粒度分类项目里用过Cutout，遮挡区域大小设为图像尺寸的1/4，准确率提升了1.5%。但要注意，如果数据集本身图像就很小，或者目标物体只占图像的一小部分，Cutout可能会遮挡掉关键信息，反而降低效果。

5. RNN中的Dropout方法

5.1 标准Dropout在RNN中的问题

RNN的dropout不能简单套用标准方法。原因在于RNN的隐藏状态是时间相关的，如果在每个时间步独立地丢弃隐藏单元，噪声会沿着时间步累积，导致梯度爆炸或消失。更具体地说，标准dropout在RNN中会破坏隐藏状态的记忆能力，因为被丢弃的信息在后续时间步无法恢复。

我最早在LSTM上直接加标准dropout，结果训练loss完全降不下去，后来查了资料才知道RNN需要专门的dropout策略。核心原则是：dropout应该作用在非循环连接上，而不是循环连接上。

5.2 朴素Dropout：只作用于输入和输出

朴素Dropout的做法是：只在输入层和输出层加dropout，隐藏层的循环连接不加。数学上：

h_t = f(W_h h_{t-1} + W_x * Dropout(x_t)) y_t = Dropout(h_t) * W_y

这样做的好处是简单，不会破坏循环连接的记忆能力。但缺点是正则化效果有限，因为隐藏层的循环权重仍然可能过拟合。

我在一个文本分类任务上用过这种方法，p=0.3，验证集准确率比不加dropout高了1.2%。但相比后面要讲的变分Dropout，效果还是差一些。

5.3 变分Dropout：同一掩码贯穿所有时间步

变分Dropout的核心思想是：对同一个序列，在所有时间步使用同一个dropout掩码。数学上：

对于第l层，生成一个掩码M_l ~ Bernoulli(1-p) 对于所有时间步t：h_t^l = M_l * f(...) / (1-p)

这样做的好处是，掩码在整个序列上保持一致，不会破坏时间相关性。从变分推断的角度看，这相当于对权重矩阵做贝叶斯近似，每个序列采样一个权重配置。

变分Dropout在语言模型和机器翻译任务上效果显著。我在一个字符级语言模型上对比过，变分Dropout比朴素Dropout的困惑度低了约8%。实现时要注意，掩码是按层生成的，不是按时间步生成的，同一个batch内不同序列可以有不同的掩码。

5.4 Zoneout：随机保留隐藏状态

Zoneout的思路和dropout相反：不是丢弃隐藏状态，而是随机保留上一时间步的隐藏状态。数学上：

h_t = d_t * h_{t-1} + (1-d_t) * h_t_new

其中d_t是伯努利掩码，取1的概率为p。

这个方法的直觉是：RNN的隐藏状态应该缓慢变化，Zoneout强迫某些时间步的隐藏状态保持不变，从而增强记忆的连续性。它特别适合需要长期记忆的任务，比如语音识别和长文本建模。

我在一个语音识别项目里用过Zoneout，p=0.1，词错误率降低了约3%。但要注意，Zoneout的p值不能太大，否则隐藏状态更新太慢，模型无法捕捉快速变化的特征。

5.5 循环Dropout：按时间步变化掩码

循环Dropout是变分Dropout的变体：每个时间步使用不同的掩码，但掩码在层间共享。数学上：

对于时间步t，生成掩码M_t ~ Bernoulli(1-p) 对于所有层l：h_t^l = M_t * f(...) / (1-p)

这样做的好处是，不同时间步的噪声不同，增加了正则化的多样性。但缺点是可能破坏时间一致性，需要谨慎调参。

我在一个序列标注任务上试过循环Dropout，效果不如变分Dropout稳定，训练曲线波动较大。所以一般优先推荐变分Dropout，循环Dropout作为备选。

6. 12种方法对比与选型指南

6.1 方法对比表

6.2 选型决策树

选型时按以下顺序判断：

1. 网络类型是什么？DNN选标准Dropout或DropConnect，CNN选Spatial Dropout或DropBlock，RNN选变分Dropout或Zoneout。
2. 过拟合程度如何？轻度过拟合用p=0.1~0.2，中度用p=0.3~0.4，重度用p=0.5或组合方法。
3. 训练资源是否充足？资源紧张优先选实现简单的方法，如标准Dropout和Cutout。
4. 任务对时间/空间一致性要求高吗？要求高选变分Dropout或Spatial Dropout，要求低可以尝试循环Dropout或DropBlock。

6.3 参数调优经验

p值的调整有一个实用技巧：先设一个较大的p，观察训练loss和验证loss的差距。如果训练loss远低于验证loss，说明过拟合严重，增大p；如果训练loss本身就降不下去，说明p太大，减小p。一般以验证集指标为准，每次调整0.05。

对于DropBlock的block_size，有一个经验公式：block_size ≈ sqrt(特征图面积 * p)。比如特征图是14x14，p=0.1，block_size≈sqrt(196*0.1)≈4.4，取5比较合适。

对于Stochastic Depth的p_l，线性增加策略是：p_l = l/L * 0.5，其中l是当前块索引，L是总块数。这样浅层几乎不跳过，深层跳过概率逐渐增大。

7. 实操中的坑与排查技巧

7.1 常见问题速查表

7.2 独家避坑技巧

第一个坑：dropout和batch norm的顺序。一般建议dropout放在batch norm之后、激活函数之前。如果顺序反了，batch norm的统计量会被dropout的噪声干扰，导致训练不稳定。我在一个项目里把顺序搞反了，训练loss一直震荡，调了一天才发现是顺序问题。

第二个坑：推理时的缩放。如果用非inverted dropout，测试时需要乘以(1-p)。但很多人忘了这一步，导致测试输出偏大。建议直接用inverted dropout，训练时缩放，测试时不动，省心。

第三个坑：dropout和learning rate的交互。加了dropout之后，等效的learning rate会变小，因为梯度被噪声稀释了。所以加dropout的同时可以适当增大learning rate，一般增大1/(1-p)倍。比如p=0.5，learning rate可以翻倍。

第四个坑：小数据集上的dropout。如果训练集本身很小，dropout可能会让模型欠拟合。这时候应该先考虑数据增强，而不是一味增大dropout。我在一个只有几千张图像的数据集上，p=0.5的dropout导致训练集准确率只有85%，后来降到p=0.2，训练集到了95%，验证集也涨了。

第五个坑：dropout的随机种子。做对比实验时，一定要固定随机种子，否则不同方法的差异可能只是随机波动。我一般跑3到5次取平均，确保结论可靠。

7.3 组合使用的建议

dropout方法可以组合使用，但要注意不要过度正则化。一个常见的组合是：卷积层用Spatial Dropout，全连接层用标准Dropout，输入用Cutout。这样从输入到高层都有正则化覆盖，效果通常比单一方法好。

但组合时p值要相应减小，一般每个方法的p值减半。比如单独用标准Dropout是p=0.5，组合时用p=0.25。否则总的正则化强度太大，模型欠拟合。

我在一个图像分类项目里用了Cutout+Spatial Dropout+标准Dropout的组合，验证集准确率比单一方法高了2.1%。但训练时间也增加了约15%，因为每个方法都有采样开销。所以组合方法适合对准确率要求高、训练资源充足的场景。

8. 一个完整的实战案例

8.1 项目背景与基线模型

假设我们要做一个图像分类任务，数据集有10个类别，每类约5000张图像，图像尺寸224x224。基线模型是一个简化的残差网络，包含4个残差块，每个块有2个卷积层，最后接一个全连接层。

基线模型不加任何dropout，训练30个epoch，训练集准确率99.2%，验证集准确率76.5%，过拟合严重。训练loss持续下降，验证loss在第10个epoch后开始上升。

8.2 逐步加入Dropout方法

第一步：在全连接层加标准Dropout，p=0.5。验证集准确率提升到81.3%，训练集降到97.8%。训练时间增加约5%。

第二步：在卷积层加Spatial Dropout，p=0.2。验证集准确率提升到83.7%，训练集降到96.5%。训练时间增加约8%。

第三步：在输入加Cutout，遮挡区域大小设为56x56（图像尺寸的1/4）。验证集准确率提升到85.2%，训练集降到95.1%。训练时间增加约3%。

第四步：把Spatial Dropout换成DropBlock，block_size=7，p=0.1。验证集准确率提升到86.4%，训练集降到94.3%。训练时间增加约12%。

最终模型：Cutout + DropBlock + 标准Dropout，验证集准确率86.4%，比基线提升9.9个百分点。训练时间比基线增加约28%，但准确率提升显著。

8.3 参数调优记录

调参过程中有几个关键发现：

• Cutout的遮挡大小从1/8增加到1/4时，验证集准确率提升了0.8%，但继续增加到1/2时反而下降了1.2%。说明遮挡不能太大，否则丢失过多信息。
• DropBlock的block_size从5增加到7时，验证集准确率提升了0.5%，但从7增加到9时下降了0.3%。7是一个比较合适的值。
• 标准Dropout的p从0.5降到0.3时，验证集准确率下降了0.6%，说明全连接层的过拟合确实严重，需要较大的p。
• 学习率从0.1增加到0.15时，训练更稳定，最终准确率提升了0.3%。这验证了dropout和learning rate的交互效应。

8.4 训练曲线分析

加入dropout后，训练loss和验证loss的差距从22.7个百分点缩小到8.7个百分点。训练loss的下降速度变慢，但验证loss的上升拐点从第10个epoch推迟到第22个epoch，说明模型的泛化能力显著增强。

训练曲线的震荡幅度也有所增加，这是dropout引入噪声的正常现象。如果震荡太大，可以减小p值或增大batch size。我一般用batch size 64，如果显存允许，用128会更稳定。

9. 数学补充：dropout的贝叶斯解释

9.1 变分推断视角

从贝叶斯角度看，dropout相当于对权重做变分推断。标准dropout的伯努利掩码对应一个稀疏的先验分布，训练过程相当于最小化变分下界。测试时的权重缩放相当于对后验分布做蒙特卡洛采样。

这个视角解释了为什么dropout能防止过拟合：它相当于在权重空间上加了正则化项，限制了模型的复杂度。p越大，先验越稀疏，正则化越强。

9.2 模型集成视角

另一个视角是把dropout看作模型集成。每次前向传播采样一个子网络，训练过程相当于同时训练2^N个子网络，测试时用完整网络近似它们的平均。这解释了为什么dropout能提升泛化能力：集成学习本身就能降低方差。

这两个视角是等价的，只是从不同角度理解同一个现象。实际调参时不需要纠结用哪个视角，但理解这些能帮助你更好地选择p值和网络结构。

9.3 梯度噪声与泛化

dropout引入的梯度噪声有一个有趣的性质：噪声的方差与p(1-p)成正比。当p=0.5时噪声最大，p接近0或1时噪声最小。这解释了为什么p=0.5是常用的默认值——它在正则化强度和训练稳定性之间取得了平衡。

但p=0.5并不总是最优的。对于卷积层，由于参数共享，等效的噪声方差更小，所以需要更大的p才能达到相同的正则化效果。这也是为什么Spatial Dropout的p通常比标准Dropout小，因为按通道丢弃的噪声已经足够大了。

10. 工具与框架实现细节

10.1 PyTorch实现要点

PyTorch里标准dropout用nn.Dropout(p)，Spatial Dropout用nn.Dropout2d(p)，这两个都是现成的。DropBlock需要自己实现，核心代码如下：

class DropBlock2D(nn.Module): def __init__(self, p=0.1, block_size=7): super().__init__() self.p = p self.block_size = block_size def forward(self, x): if not self.training: return x gamma = self.p / (self.block_size ** 2) mask = torch.bernoulli(torch.ones_like(x) * (1 - gamma)) mask = F.max_pool2d(mask, self.block_size, stride=1, padding=self.block_size//2) mask = 1 - mask normalize = mask.numel() / mask.sum() return x * mask * normalize

注意这里的gamma计算：实际丢弃比例p对应到每个像素的丢弃概率是p/block_size^2，因为一个块内所有像素共享同一个掩码值。

10.2 TensorFlow实现要点

TensorFlow里用tf.keras.layers.Dropout(p)，Spatial Dropout用tf.keras.layers.SpatialDropout2D(p)。变分Dropout需要自定义层，核心是确保掩码在时间维度上共享。

class VariationalDropout(tf.keras.layers.Layer): def __init__(self, p): super().__init__() self.p = p def call(self, inputs, training=None): if not training: return inputs mask = tf.cast(tf.random.uniform(tf.shape(inputs)[:2]) > self.p, tf.float32) mask = tf.expand_dims(mask, -1) return inputs * mask / (1 - self.p)

这里的关键是掩码的形状只取batch和time维度，不取feature维度，确保同一序列的所有时间步共享掩码。

10.3 调试与验证技巧

验证dropout是否正确实现，可以用以下方法：

1. 训练模式下，多次前向传播同一输入，输出应该不同。
2. 测试模式下，多次前向传播同一输入，输出应该相同。
3. 训练模式下，输出的期望值应该接近测试模式下的输出。
4. 检查梯度：被丢弃的神经元梯度应该为零。

我一般写一个简单的单元测试，用固定随机种子，验证这些性质。这能避免很多隐蔽的bug。

11. 不同数据模态的适配策略

11.1 图像数据的dropout策略

图像数据的特点是空间相关性高，所以优先选Spatial Dropout或DropBlock。如果图像分辨率高，DropBlock的block_size可以设大一点；如果分辨率低，block_size设小一点。

对于图像分类，Cutout和Random Erasing是很好的补充，它们作用在输入空间，和网络内部的dropout互补。对于目标检测和分割，DropBlock更合适，因为它能模拟遮挡场景。

11.2 文本数据的dropout策略

文本数据的特点是序列依赖强，所以RNN部分用变分Dropout，全连接部分用标准Dropout。对于Transformer结构，注意力权重上也可以加dropout，这叫Attention Dropout，p一般设0.1。

文本数据还可以用Embedding Dropout，即在词嵌入层加dropout，p一般设0.1到0.2。这能防止模型过度依赖个别词向量。

11.3 语音数据的dropout策略

语音数据同时具有时间相关性和频域相关性，所以Zoneout和变分Dropout都适用。对于频谱图输入，可以加SpecAugment，这是语音领域的Cutout变体，包括时间遮挡和频率遮挡。

我在一个语音识别项目里用了SpecAugment+Zoneout的组合，词错误率降低了约5%。SpecAugment的时间遮挡宽度一般设10到20帧，频率遮挡宽度设5到10个频带。

12. 总结与个人经验

写了这么多，核心其实就一句话：dropout不是万能药，选对方法比调对参数更重要。DNN用标准Dropout，CNN用Spatial Dropout或DropBlock，RNN用变分Dropout或Zoneout，这是大方向。具体到每个项目，还要根据数据量、模型大小、过拟合程度来微调。

我个人在实际操作中的体会是，dropout的效果往往在训练的中后期才显现出来。前几个epoch，加了dropout的模型可能比不加的还差，因为噪声干扰了学习。但到了第10个epoch之后，不加dropout的模型开始过拟合，加了dropout的模型还在稳步提升。所以不要因为前几个epoch效果不好就放弃dropout，给它一点时间。

最后再分享一个小技巧：如果训练资源允许，可以用小规模实验快速筛选dropout方法。比如用1/10的数据训练5个epoch，对比不同方法的验证集表现，选出最好的2到3种，再在全量数据上精调。这样能节省大量时间，避免在无效方法上浪费算力。