企业官网建设流程全解析

1. 从一张手绘草图说起：为什么还要回头翻CNN的经典模型

前阵子帮一个刚入行的朋友梳理图像分类项目的技术选型，他问了我一个问题：“现在Transformer都满天飞了，我直接上ViT不就行了，为什么还要看LeNet、AlexNet这些老古董？”这个问题其实特别有代表性。我当时的回答是：你可以直接开ViT，但如果连卷积核在特征图上滑动的感受野是怎么一步步扩大的都说不清楚，遇到模型不收敛或者精度卡在某个瓶颈时，你连从哪儿下手排查都不知道。

CNN的经典模型框架，本质上不是让你背网络结构图去应付面试，而是给你一套“设计直觉”。从1998年的LeNet-5到2015年的ResNet，这中间每一次结构演进都对应着一个具体的工程问题：梯度消失怎么办、计算量太大怎么压、深层网络退化怎么解。你把这些脉络理清楚了，再看今天任何一个新的视觉骨干网络，都能快速判断它到底在解决什么问题、代价是什么、适不适合你手头的场景。

这篇文章面向的是刚接触深度学习视觉方向的学生、需要做模型选型但非科班出身的工程师，以及想系统回顾CNN发展脉络的从业者。我会把LeNet-5、AlexNet、VGG、GoogLeNet、ResNet这五个最具代表性的框架拆开来讲，重点不在复述论文，而在于说清楚每个模型“为什么长这样”“当时遇到了什么坑”“放到今天该怎么用”。文中涉及的结构参数和设计取舍，一部分来自原始论文的公开信息，一部分是我自己在复现和迁移这些模型时积累的经验判断，两者会明确区分。

2. LeNet-5：卷积网络的第一套完整骨架

2.1 它到底解决了什么问题

LeNet-5诞生于上世纪九十年代，目标非常明确：手写数字识别。输入是32×32的灰度图，输出是0到9共10个类别。在今天看来这个任务简单得不像话，但它的价值在于第一次把“卷积+池化+全连接”这套组合拳完整地跑通了，而且用的是反向传播来端到端训练。你可以把它理解为卷积神经网络的“最小可行产品”——结构不复杂，但该有的组件一个不少。

我经常建议刚入门的朋友先把LeNet-5手撸一遍，不是为了用它做项目，而是通过它理解三个核心概念：局部连接、权值共享、空间下采样。这三个概念是后面所有CNN变体的基石，不理解它们，看后面的模型就是看天书。

2.2 逐层拆解：每个设计选择背后的逻辑

LeNet-5的结构按照输入到输出依次是：输入层（32×32）→ C1卷积层（6个5×5卷积核）→ S2池化层（2×2平均池化）→ C3卷积层（16个5×5卷积核）→ S4池化层（2×2平均池化）→ C5卷积层（120个5×5卷积核）→ F6全连接层（84个神经元）→ 输出层（10个神经元）。

这里有几个细节值得注意。第一，输入为什么是32×32而不是28×28？因为原始手写数字图片是28×28的，但论文作者特意做了padding，目的是让边缘像素也能被卷积核的中心覆盖到。这个思路在今天看来很朴素，但它揭示了一个重要原则：卷积操作对边缘信息的处理是不对称的，适当的padding可以缓解这个问题。

第二，C3层为什么用16个卷积核而不是更多？这受限于当时的计算资源。而且C3层并不是把S2的所有6个通道都连到每一个C3的卷积核上，而是有选择地连接。这种“部分连接”的设计在当时是为了减少参数量，但后来被证明对特征多样性也有一定帮助。不过到了AlexNet之后，这种手动设计连接方式的做法就被全连接式的卷积取代了，因为GPU的算力上来了，没必要再省这点参数。

第三，激活函数用的是tanh和sigmoid，不是ReLU。这不是因为tanh更好，而是因为ReLU那时候还没被引入到CNN里。你用今天的眼光看会觉得sigmoid在深层网络里容易导致梯度消失，但在LeNet-5这个深度（总共7层，含参数层5层）下，问题还不明显。

2.3 放到今天该怎么用

说实话，今天没有人会拿LeNet-5去做实际项目，它的精度和容量都远远不够。但它的价值在于教学和快速验证。如果你想验证一个新的损失函数或者优化器在卷积网络上的基本行为，用LeNet-5跑MNIST是最快的，几分钟就能出一轮结果。另外，在一些极低算力的嵌入式场景下，比如某些MCU级别的芯片上做简单的数字或简单图形分类，LeNet-5的变体仍然有生存空间，因为它的参数量只有大约6万个，量化之后可以压到几十KB。

注意：复现LeNet-5时，原始论文用的是平均池化而不是最大池化，激活函数是tanh。如果你换成最大池化和ReLU，精度会略有提升，但那就不是严格的LeNet-5了。做教学演示时建议保持原样，做工程迁移时则可以大胆替换。

3. AlexNet：深度学习的引爆点与工程智慧

3.1 为什么是它点燃了深度学习

AlexNet在2012年的ImageNet竞赛上把top-5错误率从26%左右直接拉到了15%出头，这个提升幅度在当年是断崖式的。但它的意义远不止精度——它证明了“大数据+大模型+GPU”这条路走得通。在此之前，学术界对深度网络的训练普遍持悲观态度，觉得梯度消失和过拟合没法解决。AlexNet用几个非常工程化的手段把这些障碍绕过去了。

3.2 结构上的关键改动与设计动机

AlexNet的整体结构是：输入（224×224×3）→ 5个卷积层 → 3个全连接层 → 1000类输出。相比LeNet-5，它的改动可以归纳为四个方面。

第一，激活函数从sigmoid/tanh换成了ReLU。这个改动的动机很直接：sigmoid在输入较大或较小时梯度接近零，深层网络反向传播时梯度会迅速衰减。ReLU在正区间梯度恒为1，训练速度在当年实测快了数倍。我自己的复现经验是，同样的网络结构，把tanh换成ReLU，收敛到相同损失值所需的epoch数大约能减少30%到40%。

第二，用了Dropout。AlexNet在全连接层后面加了Dropout，训练时随机丢弃一部分神经元。这个操作的目的是强制网络不依赖某些特定的神经元路径，从而提升泛化能力。全连接层的参数量占了AlexNet总参数的绝大部分（约6000万中的5800万），是最容易过拟合的地方，所以Dropout加在这里性价比最高。

第三，用了重叠池化。传统的池化是不重叠的，比如2×2的窗口步长也是2。AlexNet把步长设成了2但窗口设成了3×3，这样池化窗口之间就有重叠。论文里说这样做能轻微提升精度，同时降低过拟合。从今天的视角看，这个改动的影响其实有限，但它体现了一个思路：池化操作的设计空间比想象中大。

第四，用了局部响应归一化（LRN）。这个操作后来被证明作用不大，在VGG和ResNet里都被去掉了。但在当时，作者认为它能模拟生物神经元的侧抑制机制，增强特征的对比度。如果你今天复现AlexNet，LRN可以直接跳过，对精度几乎没有影响。

3.3 双GPU训练带来的结构分裂

AlexNet当年是在两块GPU上训练的，因为单块GPU的显存装不下整个网络。这导致它的卷积层被分成了两组，每组只在自己的GPU上处理一部分特征图，只在特定层才进行跨GPU的信息交换。这个设计在今天看来是硬件限制下的妥协，但它无意中带来了一点正则化的效果——两组特征图各自学习到了不同的特征模式。

今天你用单卡复现AlexNet时，不需要刻意去模拟这种分组，直接把所有通道合并处理就行。但如果你想深入理解分组卷积的思想，AlexNet的这个设计可以作为一个起点，它和后来ResNeXt里的分组卷积在思路上有相通之处。

3.4 实操中的坑与经验

复现AlexNet时最容易踩的坑是输入尺寸。原始论文里输入是224×224，但如果你仔细算一下卷积和池化的尺寸变化，会发现第一层卷积之后特征图的大小对不上。实际上当年论文里有一些细节没有完全交代清楚，后来有研究者指出实际使用的输入尺寸可能是227×227。我的建议是：如果你要严格复现，用227×227；如果你只是拿它做迁移学习的骨干，输入尺寸可以按你的数据集来调整，不必死磕原始论文。

另一个坑是学习率的设置。AlexNet原始论文用的初始学习率是0.01，并且在验证集损失不再下降时手动除以10。这个策略在今天看来很粗糙，但当时没有余弦退火、没有warmup，能跑通就不错了。你今天复现时可以用余弦退火或者OneCycle策略，收敛会更稳。

4. VGG：用深度和规整性换性能

4.1 核心思想：把结构做简单，把深度做上去

VGG的设计哲学和AlexNet完全不同。AlexNet用了各种不同大小的卷积核（11×11、5×5、3×3），而VGG全部用3×3的小卷积核，池化全部用2×2最大池化，整个网络的结构极其规整。它的核心发现是：两个3×3卷积堆叠的感受野等于一个5×5卷积，三个3×3堆叠等于一个7×7卷积，但参数量更少，非线性更强。

这个发现的影响非常深远。它告诉后来的人：与其用一个大卷积核，不如用多个小卷积核堆叠。参数量方面，假设输入输出通道数都是C，一个5×5卷积的参数量是25C²，两个3×3卷积的参数量是18C²，少了将近三成。非线性方面，两个3×3卷积之间可以插入两次ReLU，而一个5×5卷积只能插入一次，前者的表达能力更强。

4.2 VGG16与VGG19的结构对比

VGG有两个常用版本：VGG16和VGG19，数字代表含参数层的总数。VGG16包含13个卷积层和3个全连接层，VGG19包含16个卷积层和3个全连接层。两者的卷积层都分成5个block，每个block后面接一个最大池化层，通道数从64开始每经过一个block翻倍，依次是64、128、256、512、512。

从表中可以看出，VGG19比VGG16多了3个卷积层，精度提升不到0.2个百分点，但参数量和计算量都增加了。在实际项目中，VGG16的性价比更高，VGG19除非你有特别的精度需求，否则不太推荐。

4.3 全连接层带来的参数量问题

VGG最被诟病的地方就是它的全连接层。第一个全连接层的输入是512×7×7=25088维，输出是4096维，这一层的参数量就是25088×4096≈1.03亿，占了整个网络参数的七成以上。这不仅消耗大量显存，还容易过拟合。

后来大家用VGG做迁移学习时，普遍的做法是把最后的全连接层去掉，只保留卷积部分作为特征提取器，然后在后面接自己的分类头。这样做的好处是：卷积部分的参数量只有约1500万，而且对输入尺寸没有严格限制（因为是全卷积结构），可以接受任意大小的输入图片。

4.4 用VGG做迁移学习的实操要点

用VGG做迁移学习时，有几个经验值得分享。第一，如果你用的是预训练权重，输入图片的预处理必须和原始训练时一致，也就是按ImageNet的均值和标准差做归一化，否则精度会明显下降。第二，VGG的卷积部分学习率要设得比新加的分类头低，通常低一个数量级，因为预训练的卷积特征已经很好用了，不需要大改。第三，如果你的数据集和ImageNet差异很大（比如医学影像、卫星图像），可以考虑只冻结前两个block，后面的block参与微调，这样效果通常比全部冻结要好。

提示：VGG的参数量大，推理速度慢，在移动端和嵌入式设备上基本不可用。如果你需要轻量级模型，直接看MobileNet系列，不要试图压缩VGG，性价比太低。

5. GoogLeNet：用多尺度并行卷积打破“更深即更好”的执念

5.1 Inception模块的设计直觉

GoogLeNet的核心创新是Inception模块。它的基本思路是：在同一层里并行使用不同大小的卷积核（1×1、3×3、5×5）和池化操作，然后把所有输出在通道维度上拼接起来。这样做的动机是：图像中的目标大小不一，有的占满整个画面，有的只占一个小角落，用单一尺寸的卷积核很难同时兼顾。并行多尺度可以让网络自己学习该关注哪种尺度的特征。

但直接并行多尺度会带来一个严重问题：计算量爆炸。5×5卷积在通道数较多时参数量非常大。所以GoogLeNet在3×3和5×5卷积之前，以及池化之后，都加了1×1卷积来做降维。这个1×1卷积的作用是减少输入通道数，从而降低后续卷积的计算量。举个例子，如果输入是256通道，直接做5×5卷积输出64通道，参数量是256×5×5×64=409600；如果先用1×1卷积把256通道降到32通道，再做5×5卷积输出64通道，参数量是256×1×1×32 + 32×5×5×64 = 8192 + 51200 = 59392，只有原来的七分之一左右。

5.2 辅助分类器的作用与争议

GoogLeNet在中间层插入了两个辅助分类器，目的是缓解深层网络梯度消失的问题。辅助分类器在训练时参与损失计算，推理时被去掉。这个设计在当时是有意义的，因为GoogLeNet有22层，比VGG还深，梯度传播确实是个问题。

但后来的实践表明，辅助分类器的作用有限，而且增加了训练的复杂性。在ResNet之后，大家发现用残差连接解决梯度问题比辅助分类器更优雅、更有效。所以如果你今天复现GoogLeNet，辅助分类器可以保留也可以去掉，对最终精度的影响通常在0.5个百分点以内。

5.3 全局平均池化的引入

GoogLeNet是第一个用全局平均池化替代全连接层的经典模型。具体做法是：在最后一个Inception模块之后，对每个通道的特征图做平均，直接得到一个向量，然后接一个softmax分类。这样做的好处是参数量大幅减少，而且有一定的正则化效果。

这个设计后来被几乎所有后续模型采用，包括ResNet。它的影响是深远的：它让模型对输入尺寸更加灵活，也减少了过拟合的风险。我在实际项目中发现，用全局平均池化替代全连接层后，小数据集上的过拟合现象明显减轻，验证集精度通常能提升1到2个百分点。

5.4 GoogLeNet的后续演进

GoogLeNet后来演进了多个版本：Inception-v2引入了Batch Normalization，Inception-v3用了卷积分解（把5×5拆成两个3×3，把3×3拆成1×3和3×1），Inception-v4和Inception-ResNet结合了残差连接。这些改进的核心思路是一致的：在保持多尺度并行结构的前提下，不断降低计算量、提升训练稳定性。

如果你要在项目中使用Inception系列，我的建议是直接用Inception-v3或Inception-v4的预训练权重，不要从GoogLeNet原始版本开始。v3和v4在精度和速度上都明显更优，而且预训练权重更容易获取。

6. ResNet：残差连接如何让“深”不再是一个问题

6.1 退化问题：深层网络的反直觉现象

在ResNet之前，一个普遍的经验是：网络越深，精度应该越高。但实验发现，当网络深度超过一定限度后，精度反而下降了。这不是过拟合导致的（训练误差也在上升），而是优化困难导致的。这个问题被称为“退化问题”。

退化问题的本质是：在深层网络中，恒等映射（即让某一层的输出等于输入）很难学习。理论上，如果新增的层都学成恒等映射，深层网络的性能至少不应该比浅层网络差。但实际训练中，让多层非线性变换逼近恒等映射非常困难，导致深层网络的有效容量反而下降。

6.2 残差块的核心机制

ResNet的解决方案非常简洁：在卷积层旁边加一条捷径连接，把输入直接加到输出上。公式是y = F(x) + x，其中F(x)是残差函数，x是恒等映射。这样网络只需要学习残差F(x)，而不是完整的映射。如果最优映射接近恒等映射，网络只需要把F(x)学成接近零就行，这比学成恒等映射容易得多。

残差块有两种设计：基本块和瓶颈块。基本块用于ResNet-18和ResNet-34，由两个3×3卷积组成。瓶颈块用于ResNet-50及更深的版本，由1×1、3×3、1×1三个卷积组成，1×1卷积负责先降维再升维，目的是减少3×3卷积的计算量。

从表中可以看出，ResNet-50是一个性价比很高的选择：参数量只有VGG16的不到两成，但精度更高。这也是为什么ResNet-50成为后来目标检测、语义分割等任务中最常用的骨干网络。

6.3 捷径连接的类型与选择

ResNet的捷径连接有两种：恒等捷径和投影捷径。恒等捷径直接相加，不引入额外参数；投影捷径用一个1×1卷积调整通道数和空间尺寸，再相加。当输入输出通道数一致且空间尺寸相同时，用恒等捷径；当通道数或尺寸发生变化时，用投影捷径。

在实际实现中，ResNet在每个stage的第一个残差块使用投影捷径，其余使用恒等捷径。这个设计在原始论文中有详细说明，但很多开源实现为了简化，会在所有需要调整维度的地方都用投影捷径，这样参数量会略多，但精度差异很小。

6.4 复现ResNet时的常见错误

复现ResNet时最容易犯的错误是捷径连接的位置。原始论文中，捷径连接是加在第二个卷积的BN之后、ReLU之前。也就是说，残差块的输出是ReLU(F(x) + x)，而不是ReLU(F(x)) + x。这个顺序如果搞错了，训练会变得不稳定，精度也会下降。

另一个常见错误是BN层的位置。在原始ResNet中，BN是在卷积之后、ReLU之前。有些实现会把BN放在卷积之前，这是不对的，会导致训练行为完全不同。如果你从零复现ResNet，建议对照原始论文的图示逐层核对，不要凭记忆写。

注意：ResNet的预训练权重有v1和v2两个版本。v1是原始版本，v2把BN和ReLU放到了卷积之前（预激活），训练更容易收敛，但精度差异不大。做迁移学习时，v1的权重更常见，建议优先用v1。

7. 五个模型的横向对比与选型建议

7.1 从参数量、计算量、精度三个维度看

从这张表可以清楚地看到，ResNet-50在精度和计算量之间取得了最好的平衡。VGG16虽然精度不错，但计算量是ResNet-50的近四倍，参数量是五倍多，在今天已经不太适合作为首选骨干。GoogLeNet的参数量和计算量都很低，但精度略逊于ResNet-50，适合对速度要求高的场景。

7.2 不同场景下的选型逻辑

如果你在做移动端或嵌入式部署，优先考虑GoogLeNet的轻量变体或者MobileNet系列，不要用VGG和ResNet-50以上的版本。如果你在做服务器端的图像分类，ResNet-50是默认选择，精度不够就上ResNet-101或ResNet-152。如果你在做迁移学习且数据集很小，VGG16的卷积特征在某些纹理密集型任务上仍然有优势，但整体上ResNet-50更稳。

如果你只是做教学演示或者快速验证想法，LeNet-5和AlexNet足够了，训练快、代码简单、不容易出错。不要一上来就用ResNet-152跑MNIST，那是杀鸡用牛刀，而且容易因为过拟合导致结果反而不如简单模型。

7.3 从经典模型中学到的设计原则

回顾这五个模型，可以提炼出几条对今天仍然有效的设计原则。第一，小卷积核堆叠优于大卷积核，这是VGG证明的。第二，多尺度并行特征提取优于单一尺度，这是GoogLeNet证明的。第三，残差连接是训练深层网络的关键，这是ResNet证明的。第四，全局平均池化可以替代全连接层，减少参数量并提升泛化能力，这是GoogLeNet和ResNet共同证明的。第五，1×1卷积是调整通道数和降低计算量的有效工具，这在GoogLeNet和ResNet中都有体现。

这些原则在今天的新模型设计中仍然被广泛使用。你去看EfficientNet、ConvNeXt这些较新的卷积网络，会发现它们的基本组件和设计思路都能在这些经典模型中找到影子。所以花时间理解经典模型，不是怀旧，而是打地基。

8. 自己动手复现时的几个实操建议

8.1 从LeNet-5开始，但不要停在LeNet-5

如果你刚开始学PyTorch或TensorFlow，我建议的复现顺序是：LeNet-5 → AlexNet → VGG16 → ResNet-50。每复现一个，就对比一下和上一个模型在结构上的差异，问自己“为什么要做这个改动”。LeNet-5半天就能搞定，AlexNet一天，VGG16一天，ResNet-50两天。一周之内你就能把这五个模型全部跑通，这个时间投入是非常值得的。

复现时不要直接抄网上的代码，先自己画一遍结构图，标注每一层的输入输出尺寸和通道数，然后再写代码。写完之后用torchsummary或者model.summary()打印一下每层的参数量，和你手算的对比。如果对不上，说明你对某个层的理解有偏差，回去查。

8.2 用小数据集快速验证

不要一上来就用ImageNet，那个数据集太大，训练一轮要很久。用CIFAR-10或者CIFAR-100，甚至用MNIST的彩色版本，先把流程跑通。CIFAR-10的图片是32×32的，直接喂给VGG和ResNet需要调整输入尺寸或者修改网络的第一层。我的做法是把CIFAR-10的图片resize到224×224，虽然计算量大了，但不用改网络结构，省事。

如果你用CIFAR-10训练ResNet-50，注意把第一个卷积层的步长从2改成1，或者去掉第一个最大池化层，否则特征图会被降得太小。这个细节在原始论文里没有提，因为ImageNet的图片够大，但CIFAR-10的图片小，不改的话最后特征图只剩1×1，信息损失太多。

8.3 预训练权重是加速实验的利器

除非你的目标是研究网络结构本身，否则做项目时一律用预训练权重。PyTorch的torchvision.models里包含了所有这些经典模型的预训练版本，一行代码就能加载。用预训练权重的好处是：收敛快、精度高、对超参数不敏感。我自己的经验是，用预训练权重做迁移学习，通常只需要训练10到20个epoch就能达到不错的效果，而从零训练可能需要100个epoch以上。

加载预训练权重时注意两点：第一，如果num_classes和预训练时不一致，要把最后的全连接层替换掉；第二，如果输入图片的通道数不是3（比如灰度图），要把第一个卷积层的输入通道改成1，但这样预训练权重就不能直接用了，需要重新训练或者复制通道。

8.4 训练过程中的监控与调参

训练这些模型时，我习惯监控三个指标：训练损失、验证损失、验证精度。如果训练损失下降但验证损失上升，说明过拟合了，需要加正则化或者数据增强。如果训练损失和验证损失都不下降，说明学习率可能太大了或者网络结构有问题。如果训练损失下降很慢，说明学习率太小了。

学习率方面，用预训练权重时，初始学习率设成0.001比较稳妥，用Adam或SGD都可以。从零训练时，SGD加动量通常比Adam效果更好，初始学习率设成0.01或0.1，配合学习率衰减策略。Batch size在显存允许的情况下尽量大一些，32或64是常见选择，太小会导致BN层的统计量不稳定。

我在实际项目里踩过的一个坑是：用预训练权重时忘了把BN层设为eval模式，导致BN的均值和方差在训练时被更新，预训练学到的统计量被破坏，精度反而下降。后来养成了习惯，加载预训练权重后先冻结BN层，训练几轮之后再解冻。这个技巧在小数据集上特别有用。

8.5 模型保存与复现性

训练完成后，保存模型时不要只保存state_dict，还要保存优化器的状态、当前的epoch数、学习率调度器的状态，这样方便断点续训。另外，设置随机种子（torch.manual_seed、np.random.seed、random.seed）可以保证结果可复现，虽然完全复现很难，但至少能减少随机性带来的波动。

如果你要把模型部署到生产环境，建议把模型转成ONNX格式，然后用ONNX Runtime或者TensorRT做推理加速。这些经典模型对ONNX的支持都很好，转换过程基本不会遇到问题。转完之后对比一下PyTorch和ONNX的输出，确保数值误差在可接受范围内。

这五个经典CNN框架，每一个都值得你花时间亲手跑一遍。不是为了记住它们的结构，而是为了理解每一次结构变化背后的工程动机。当你下次面对一个新的视觉任务时，这些积累会帮你更快地做出合理的选型判断，而不是盲目追新。