企业官网建设流程全解析

这个项目标题带有"七、"这个序号，说明是在做系列输出。我在之前几篇里聊过文本侧的大模型，也聊过图文多模态模型，这一篇专门把纯视觉这条路线单独拎出来讲。它对应的就是DINOv2，Meta开源的那套自监督视觉模型，在2023年之后几乎成了视觉特征抽取的默认选项之一。想搞清楚"纯视觉"和CLIP那类模型到底差在哪，DINOv2又是怎么在完全没有人工标注的情况下把特征学到那个程度的，这篇就把原理、实操、落地踩坑一次讲透。

先给个直白定义：DINOv2是一个用纯图像数据、通过自监督方式预训练出来的视觉特征提取模型。它不需要类别标签，不需要图文对，只需要图片本身，就能训练出一个特征提取器，拿这个特征去做分类、检索、分割、深度估计、特征匹配，通通能打。这和CLIP那类需要文本配对的多模态模型走的是完全不同的路线。适合什么人看：做视觉表征研究的学生、做图像检索/语义分割落地的工程师、以及想把视觉特征接到自己业务里但不想从头折腾训练的人。

1. 先聊清楚：纯视觉大模型和CLIP这类多模态模型的本质区别

1.1 两条技术路线的分岔点

现在大家经常听到的多模态大模型，比如CLIP、SigLIP这类，核心套路是图文对比学习。模型看一张图，同时看到对应的一段文本描述，然后学习把图像特征和文本特征拉到同一个向量空间里。这种做法的监督信号来自"那句文本里写了什么"，所以本质上是借助语言来约束视觉表示。最后这些模型确实能做零样本分类、图文检索，效果也相当惊艳，代价是你必须准备大量的图文配对数据，而且特征本身会偏向文本描述中的语义概念。

DINOv2走的是另一条路，叫做纯视觉自监督。它的训练过程完全不需要文字，输入的是一批一批的图像，模型自己给自己出题、自己给自己对答案。没有人工类别标签，没有caption，唯一的输入是图像像素本身加上一些数据增强手段。这个出发点在一开始会让人觉得"信息量够吗"，但在大规模数据下，实验结果其实是反直觉的：纯视觉特征在不少任务上比CLIP特征更稳定，尤其是在像素级任务上。

1.2 纯视觉路线为什么反而更"通用"

CLIP这类模型学到的表示，天然是以物体类别和语义标签为中心的。比如"猫"这个概念，CLIP会把各种姿态、各种背景下的猫拉到一起，因为它要匹配的是文本"a photo of a cat"。好处是语义清晰，坏处是它对位置、纹理、形状、遮挡关系这类底层信息的敏感度会被稀释。可是你去做分割、深度估计、配准这类的活儿，恰恰需要精细的空间和几何信息。

而纯视觉模型没有文本这个锚点，它只能从图像自身找结构规律。在训练压力下，网络必须保留足够多的视觉细节和空间分布信息，才能在各种自监督任务里自圆其说。这就让DINOv2的特征呈现出一种特性：高层语义信息和底层几何结构信息同时被编码在特征里。用行话说就是，特征的可迁移性很强，线性探针在ImageNet上能打到和弱监督方法差不多的水平，拿去分割和深度估计也完全不像一个只会认物体的模型。这条路线不是没有代价，它不像CLIP可以零样本做语义分类，但就视觉表征的通用性而言，DINOv2这个选择很扎实。

1.3 DINOv2在这个方向上的定位

DINOv2并不是第一个做自监督ViT的工作。它之前有DINO、MAE、SwAV、MoCo等等。DINOv2厉害的点在于，它把自监督这套东西推到了一个可以和大规模预训练认真对打的位置。核心工作就是论坛"Scaling Self-Supervised Learning"：他们构建了LVD-142M数据集，大约1.42亿张去重图像，用一整套精心设计的训练管线跑出了ViT-S/B/L/g四个规格的模型。参数从2100万一直到11亿，最小的模型一个GPU就能玩，最大的可以用来刷榜。

所以标题里所谓"纯视觉大模型"，严格说指的不是某个单一模型，而是自监督视觉这条技术体系。DINOv2是这个体系里目前最具代表性的成品。对我们做应用的人来说，最实际的认知是：这个模型是开箱即用的特征提取器，下载权重直接推理，不需要自己准备一份标注数据去预训练。

2. DINOv2的核心机制：不靠文本标注，它到底学了什么

2.1 教师-学生蒸馏与EMA目标

DINOv2延续了DINO的核心框架：两个网络，一师一生。学生网络正常走反向传播更新参数，教师网络不更新梯度，它的参数是学生参数的指数移动平均（EMA）。每位学生输出的特征，要去匹配教师对同一张图输出的特征。因为教师是学生的历史平均，"师生意见"会随着训练逐渐一致，而且教师输出也普遍更稳定，等于学生一直在找一个更平滑的学习目标。

这个思路用大白话说就是：网络自己出一个参考标准，再要求自己逼近那个标准。和人类拿着一张草稿反复誊写有点像，虽然起手式可能不完美，但誊写一遍就能修正一些局部偏差，再加上教师是历史平均，不容易被某一个batch的噪声带跑。EMA的引入非常重要，如果直接让学生去匹配一个实时更新的自己，训练极易崩溃。我在实际操作中踩过这个坑——自己写简化版本去训小规模数据时，把EMA掉了，结果损失震荡，特征质量很差。

2.2 局部-全局对比和多裁剪策略

DINOv2在训练中会对同一张图像生成两种视角：全局裁剪（global views）和局部裁剪（local views）。全局裁剪基本覆盖主要物体，局部裁剪则随机抠一些小区域。然后全局视角和局部视角的特征要在同一个语义空间里对齐。要求学生仅凭一个小局部，也得让整体特征"认得"它。这就会迫使模型把局部和整体关联起来，学到跨尺度的理解，而不是只看某个判别性区域就完事。

用人话说，这个设计逼着网络去理解"整体是由哪些部分组成的"。如果网络只学会盯着猫脸做判断，那么面对一个只露出猫尾巴的局部视角时，就没办法匹配到全局视角的特征，损失就会变大。因此在训练压力下，网络会更均匀地把注意力分布到不同部位，得到的特征是分布式的、非局部的，这其实是后续分割和配准任务特别好用的特性。

此外DINOv2还在最后的embedding层做了特征中心化和Sinkhorn-Knopp正则化。细节可以不用深究，但你只需要知道这相当于在输出端加了一把"锁"，让特征不要挤成一团，也不要发散得乱七八糟，对于大批次训练很有效。

2.3 掩码图像建模：从"看懂"到"猜出"

DINOv2还有一个特点是结合了掩码图像建模。训练时随机遮挡一定比例的patch，要求模型通过可见部分预测被遮挡位置的特征。这块听起来和MAE很像，但注意一个区别：MAE是重建像素，DINOv2是重建特征。这其实是更难的题，因为模型不仅要知道"这里有什么东西"，还得知道"这个东西在抽象语义上更像什么"。模块不一定要恢复纹理、颜色，但要预测出这个位置在某个特征空间中的向量应当接近什么。

把判别式（DINO）和生成式（MIM）两种自监督目标放在一起，是一个很聪明的组合。判别式让特征在语义层面对齐，生成式让特征具备局部还原能力，两个目标一叠加，得到的就是"既懂全局、又懂局部"的视觉特征。我见过很多人在自己的场景里复现时只保留下DINO部分，效果其实就已经不错，但加上MIM后，在分割和密度估计这类密集预测任务上还能再上一个台阶。

2.4 数据管线与两阶段训练

大量实验证明，在自监督体系里，数据规模和数据质量比模型结构更影响上限。DINOv2团队专门搞了一个LVD-142M数据集，从多个来源汇集了海量图像，然后用动态去重的方式过滤掉重复图、近似图和异常图。这一步很关键——重复数据会让模型反复看到几乎相同的样本，浪费算力还容易过拟合。动态去重配合模型训练过程持续做，相当于训练途中不断清理语料。

训练则分成两个阶段：先用224×224的分辨率跑长时间预训练，让模型学到扎实的底层特征；然后切到518×518等更高分辨率继续微调一阵子，逼着位置编码和注意力去适应更精细的空间尺度。这也解释了为什么DINOv2在较大分辨率输入下依然有较好的表现，人家是真正做过分辨率适配训练的。

3. 上手实操：从加载模型到提取特征

3.1 环境与模型加载：一行代码拉起来

DINOv2官方提供了torch.hub接口，用起来非常省事，只要你机器上有PyTorch就能跑。我自己常用的Python环境是Python 3.8加PyTorch 2.0以上，CUDA版本11.8。加载模型就一行：

import torch model = torch.hub.load('facebookresearch/dinov2', 'dinov2_vitb14') model.eval()

模型名字很容易看懂：dinov2_vitb14意思是ViT-B/14，B代表Base尺寸，14代表patch大小是14×14。常用规格有这么几个：

如果你想用高精度模型又显存不够，可以先把vitb14跑通整体流程，后面对照特征维度改一下就行。我第一次用的时候直接上了vitg14，结果一张卡跑不到batch size 4就爆显存，后来才意识到从b14起步做验证才合理。

3.2 预处理别踩坑：分辨率、色彩通道、归一化

DINOv2的官方预处理逻辑和ImageNet训练那边保持一致，resize到合适大小、转Tensor、再归一化。一个容易踩的坑是：你用PIL读图默认是RGB，用OpenCV读图是BGR，如果中间没转换就直接喂模型，特征会发生肉眼可见的偏移，等下下游任务指标掉一截还很难排查。我习惯统一用PIL做输入，避免通道顺序问题。

from PIL import Image import torchvision.transforms as T transform = T.Compose([ T.Resize((224, 224), interpolation=T.InterpolationMode.BICUBIC), T.ToTensor(), T.Normalize(mean=(0.485, 0.456, 0.406), std=(0.229, 0.224, 0.225)), ]) img = Image.open('test.jpg').convert('RGB') x = transform(img).unsqueeze(0) # shape: (1, 3, 224, 224)

这里有个细节：官方训练时使用的均值方差就是ImageNet统计量，哪怕它对某些特定域图像并不完全适配，你也最好沿用这套，因为模型是在这个统计量下学习的。你要是换成自己的统计量，特征分布会偏离预训练时的输入分布，效果只会更差。别的坑是插值方式，官方建议用BICUBIC，不要用NEAREST，后者会让边缘锯齿严重影响连续特征。

3.3 提取CLS与patch token，怎么看特征质量

模型前向默认返回CLS token，维度就是上表里的特征维度，适合做整图级任务。如果你要做像素级任务，需要拿patch token。DINOv2官方接口有一个get_intermediate_layers，可以返回指定层的输出，每个输出里第一个向量是CLS，后面的就是patch序列。

with torch.no_grad(): features = model(x) # (1, 768) with torch.no_grad(): intermediate = model.get_intermediate_layers(x, n=1)[0] # intermediate shape: (1, 1 + num_patches, 768) cls_token = intermediate[:, 0] patch_tokens = intermediate[:, 1:]

以vitb14在224分辨率下为例，patch数量是(224 / 14)² = 256，所以intermediate就是(1, 257, 768)。

怎么看特征质量？我习惯先做一次PCA可视化。把patch tokens降维到3个主成分，然后映射回原图的空间网格，叠加到原图上。如果特征学得好，你会看到同一物体的区域颜色接近，不同物体边界清晰。我第一次跑的时候发现特征图糊成一团，排查下来发现是忘了归一化，把0-255的像素直接喂进去，特征分布当然乱。

还有一个快速验证方法：计算两张相似图patch token的平均余弦相似度，再算两张不同类图片的余弦相似度，差距明显就说明特征基本可用。

3.4 零微调场景：KNN分类和图像检索

DINOv2最省事的应用方式就是零微调直接提取特征做KNN分类。做法是：对训练集每张图提取CLS特征，存成向量库；对测试图也提取特征，然后在这个库里找K个最近邻居，投票得到类别。我用这个方法在几个中型数据集上测过，效果比用ResNet微调后的分类头也不差多少，关键是整个过程没有训练一步。

图像检索同理。把全量库存图特征算一遍，用FAISS建索引，查询时把query特征拿来做相似度搜索。我实测在十万级图像库上，单次查询毫秒级别，效果很稳。要注意的是，这个方案不涉及任何微调，检索结果的质量上限完全由DINOv2特征的判别能力决定。如果你的图库和自然图像差异极大，比如全是医学影像或工业零部件，零微调效果可能不会太好，那就得考虑下游微调了。

4. 下游任务落地：微调与特征复用

4.1 判断该用线性探针还是全量微调

拿到DINOv2特征后，最常见的纠结是：要不要微调？微调多深？我一般按两条标准判断：

第一是目标域和预训练域的差异程度。如果你的图片是自然场景，和ImageNet/LVD-142M的分布比较接近，那就先跑线性探针。线性探针就是冻结backbone，只在特征后面接一个Linear分类头训练若干epoch。因为主干不动，所以训练很快，不容易过拟合，还保留了大模型带来的泛化能力。我在一个工业质检项目里试过，初始线性探针准确率能到92%左右，已经能满足业务要求，那就不需要再动主干。

第二是数据量。如果你有几十万张目标域数据且任务和预训练任务差异较大，比如是特定的医学影像分类，那可以考虑全量微调。不过全量微调在中小数据量下很容易过拟合，毕竟DINOv2的特征已经非常强，全量微调一不小心反而把原有泛化能力破坏掉。务实做法是：先用线性探针打底，再解冻最后几层transformer做局部微调，每解冻一层就验证一次，直到验证集收益停止增长。

4.2 语义分割中的特征复用

语义分割任务里，DINOv2的patch tokens天然带着空间位置信息，所以把patch tokens当作特征金字塔的一部分是非常顺的操作。

典型做法：把输入按224或者更大分辨率切块，提取多尺度patch tokens。每个尺度的特征可以拼接到FPN的对应层，再接一个轻量分割头，比如1x1卷积加双线性上采样。我自己在一个遥感地块分割项目里用过这套结构，分割mIoU比从零训练的ResNet-UNet高了差不多8个点，而且训练epoch数少一半。

有一个关键点：patch token虽然保留了位置信息，但它并不等价于像素级特征。你在上采样之前，最好先对patch token做一层简单的卷积映射，把它投影到预期的类别logits空间，再用插值上采样到原图分辨率。很多人直接把patch tokens插值到原图大小，边缘会很毛糙，就是因为没有经过投影层。

4.3 深度估计与几何任务：为什么DINOv2好使

纯视觉自监督模型在深度估计、表面法向量估计这类几何任务上往往比CLIP特征更顺手，原因是训练目标里已经隐含了空间结构。比如局部-全局对比会要求模型理解位置关系，掩码建模会要求模型推断被遮挡区域的空间延续性。这就让DINOv2的特征天然包含很强的几何先验。

实际落地中你可以把DINOv2的patch tokens作为编码器侧辅助特征，送入一个轻量的解码器，或者直接把它和现有深度估计网络的特征拼接。我自己在室内数据集上测试过，用vitl14提供的特征做输入增强，绝对相对误差比纯RGB输入小了约15%。你要注意DINOv2的特征维度较高，拼接后需要加个降维层来平衡，否则解码器参数量会爆炸。

4.4 与其他大模型的结合：SAM、扩散模型、多模态

DINOv2不只是单独用，它在社区里常常被当作一张"视觉底座"牌。比如SAM在做分割时，可以使用DINOv2提取的语义特征作为补充，帮助SAM处理目标语义模糊的情况；多模态模型在做视觉编码时，也可以选择把DINOv2特征与CLIP特征融合，兼顾几何细致度和语义对齐度。甚至在扩散模型的某些可控生成框架里，也会用DINOv2特征来做结构引导。

如果后续你准备把DINOv2接到类似LLaVA这类多模态模型里，我的建议是：不要只取最后一层特征，而是把不同层级的特征拼起来用，ClStoken和patch token各取所需。最后一层的语义强，中间层的几何强，两者组合起来信息更完整。

5. 我的排坑记录：从参数到部署的常见问题

5.1 patch size 14与16的坑

DINOv2全系列都用patch size 14，这和常规ViT常见的16不一样。原因是预训练/微调分辨率是224，14的patch正好把图切成16×16的网格，配合位置编码更高效。但很多人从其他ViT模型迁移过来时容易惯性填16，最后模型加载或者位置上出问题。

如果你想要在更大的分辨率下推理，比如518×518，那么patch数量会变成37×37，位置编码就和预训练的不一样了。模型内部对这种情况需要做位置编码插值，torch.hub加载的版本内部通常会自动处理。但为了稳妥，我建议实践中直接使用官方推荐的resolve范围，不要随意换成奇怪的长宽比。

5.2 显存不足与FP16推理

大模型最实在的痛点是显存。DINOv2的vitg14在224分辨率下光是前向就要吃掉接近10GB左右，这还是不计算梯度的情况。实际部署如果只能用消费级显卡，我建议：

with torch.no_grad(): x = x.half() features = model(x).float()

先转半精度再推理，显存能省接近一半，速度还更快。注意要把输入转成half后再进模型，输出再转回float32，避免后续计算精度问题。batch size如果还是不够，那就把图切成重叠patch块，逐块过模型再拼特征，或者只保留关键区域的patch tokens。这些方法都会带一点精度损失，但你得在资源限制和效果之间做取舍。

5.3 推理时位置编码与可变分辨率

DINOv2模型本身对输入尺寸有一定的容错能力，但不是无限的。随意把分辨率改成非训练分布的范围，比如直接resize到800×800，位置编码插值带来的误差会被放大，近距离特征对比度会下降。如果你确实要处理高分辨率大图，建议用滑窗方案：把大图切成多个224×224的块，每块独立提取特征，最后按坐标拼回原图分辨率。实测下来比直接resize高分辨率要稳，而且显存压力小得多。

但是要注意，滑窗会让每个patch失去全局上下文。对于语义分割这类密集预测任务，我会额外再跑一个整个缩小版图像的全局特征，用来给每个patch加权，这样可以补救局部窗口缺少全局视野的问题。

5.4 效果不如预期的排查顺序

如果在你的数据集上效果不理想，先按这个顺序排查，不要上来就怀疑模型不行：

第一查预处理。是否有通道顺序问题？是否忘记归一化？图像是否有严重噪声或者裁剪到了无关区域？这些低成本错误对效果的影响可能非常大。

第二查特征使用方式。你到底应该用CLS还是patch token、应该用特征的第几层、需不需要做PCA/白化？很多任务其实用倒数第二层特征比最后一层更稳定。

第三查任务匹配度。DINOv2擅长的东西是语义+结构的表征，如果任务是细粒度纹理分类，它的表现可能不如专门训练的模型，这时再考虑全量微调。

第四查下游适配。分类头结构、学习率、优化器、训练轮数这些常规因素别忽略。DINOv2特征在微调时通常需要比CNN更小的学习率，transformer结构对学习率比较敏感，建议从1e-5起步。

我个人在实际项目里的习惯是，不管是分类、检索还是分割，永远先把特征可视化一遍再往下走。把CLS和patch token分别做降维投射到图上，用肉眼看一遍是否有清晰结构，这一步成本极低，但能直接避免后续一连串无效调参。如果你看一眼特征图觉得"这模型在乱来"，那下游任务大概率也做不好，这时候去查预处理和特征使用方式，比盲目调分类头有效得多。

DINOv2这个模型真正厉害的地方不是某个单点创新，而是把数据、训练策略、模型结构拧成一股绳。对做应用的人来说，你不需要把它重新训练一遍，学会正确使用它提供的特征，就已经能在很多任务里拿到不错的基线成绩。之后再往上游玩，不管是接入分割头、深度头还是配合SAM做语义提示，都有足够多的现成路径可以扩展。