企业官网建设流程全解析

DINOv2 选型实战：4 种规格怎么选才不踩坑

【免费下载链接】dinov2PyTorch code and models for the DINOv2 self-supervised learning method.项目地址: https://gitcode.com/GitHub_Trending/di/dinov2

你要把视觉特征接进分类流水线，翻到 DINOv2 从 ViT-S/14 到 ViT-g/14 的四种规格时卡住了：21M 还是 1100M 参数、带不带 registers，选哪个？DINOv2 是 Meta 的自监督学习模型，用 1.42 亿张无标注图像学出视觉特征，特征配上线性探针即可直接用于分类和分割。这篇按约束条件帮你排好规格、给出理由，再带你把第一条推理命令跑通。

DINOv2 是什么

DINOv2 的核心思路很直接：不靠任何标签，让网络自己学会"这张图表示什么"。它把图像切成 14×14 的 patch，喂给 Vision Transformer（ViT），用 teacher-student 自蒸馏让同一张图的不同增强视图产出一致的特征。代价是零标注——1.42 亿张图只当"视觉词典"用。

它真正的价值在特征怎么用：一张 224×224 的输入，你能拿到一个全局向量（x_norm_clstoken）和 256 个 patch 级局部特征。下游任务基本不用动主干——分类接一个线性层，密集任务接 DPT 或 linear head。这也是它常被当作现成特征提取器直接换进老项目的原因。

按你的约束条件选型

别从"越大越好"出发，从你的约束出发。

显存 / 算力吃紧时（单卡、大批量）

选 ViT-B/14。86M 参数、linear 评测 84.5%，12G 显卡 fp16 下 224 分辨率批量推理毫无压力，是大多数流水线的默认档。

精度是第一优先级时（离线评测、无实时要求）

选 ViT-g/14_reg4（带寄存器）。linear 评测 87.1% 是全家族天花板；不过它只比 ViT-L/14_reg4 高 0.4 个点，如果这点差距无所谓，降一档能省一大笔显存。

部署到边缘或移动端时（毫秒级推理）

选 ViT-S/14。只有 21M 参数，约为 B 的 1/5，k-NN 仍有 79%；量化部署后重点用你自己的业务数据复测一次漂移，别只看公开榜单。

数据背后：B 到 L 是性价比最高的一档，多花 3.5 倍参数换 2.1 个点 linear；L 到 g 则要多花近 4 倍算力只换 0.4 个点。如果你的服务是单卡推理，选 g 是最容易的过度配置。

从零跑通第一条命令

纯推理只需要 PyTorch 一个依赖，不必装 requirements.txt 里的训练全家桶。下面的命令克隆仓库并安装基础环境：

git clone https://gitcode.com/GitHub_Trending/di/dinov2 pip install torch torchvision

加载模型时把source="local"指向本地克隆，首次运行会自动把权重下到 torch hub 缓存：

import torch model = torch.hub.load("./dinov2", "dinov2_vitb14", source="local") model.eval()

做一次推理，注意主干 forward 返回的是 token 字典而不是分类分数：

from PIL import Image import torchvision.transforms as T tf = T.Compose([T.Resize(256), T.CenterCrop(224), T.ToTensor(), T.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225])]) img = tf(Image.open("test.jpg").convert("RGB")).unsqueeze(0) with torch.no_grad(): feat = model(img)["x_norm_clstoken"] # (1, 768) 全局特征 patch = model(img)["x_norm_patchtokens"] # (1, 256, 768) patch 特征 print(feat.shape, patch.shape)

想要直接的分类分数，把模型名换成dinov2_vitb14_lc，输出就是 ImageNet 类别分数。

数字背后的取舍

第一个反直觉的点：小模型加寄存器，赢过大模型不加。ViT-L/14_reg4 的 linear 是 86.7%，比不带寄存器的 ViT-g/14（86.5%）还高——300M 打赢 1100M。4 个 register token 是针对 ViT 注意力汇聚问题的廉价修复，性价比比堆参数实在。

第二点：寄存器不是无脑正收益。ViT-S 带上寄存器后 linear 从 81.1% 掉到 80.9%，ViT-B 基本持平（+0.1），到 L、g 才明显为正（+0.4、+0.6）。所以"要不要用 reg 版"要看规格：B 及以下无所谓，L 及以上建议打开。

第三点最容易被忽略：k-NN 这一档上 L 和 g 几乎持平（83.8% 对 83.7%），模型越大上限越低。这说明 patch 特征本身已经"够用"，更大模型主要优化的是全局 CLS token——如果你的用途是检索、相似性搜索或直接用 patch 特征，L 和 g 的差异基本测不出来。

仓库还在垂直方向延伸了这条线：细胞显微镜场景可以看 docs/README_CELL_DINO.md 和 docs/README_CHANNEL_ADAPTIVE_DINO.md 里的 Cell-DINO 与 Channel-Adaptive DINO。

上手后容易踩的坑

1. 现象：model(img)返回 dict，照搬博客里的代码直接IndexError。原因：主干的forward默认输出 token 字典（cls / reg / patch），不是分数。解法：自己取x_norm_clstoken接线性层，或直接加载dinov2_vitb14_lc分类器。

2. 现象：_reg模型上手工切特征图，位置整体偏了 4 格。原因：token 序列是 1 个 CLS + 4 个寄存器 + 256 个 patch，寄存器版比普通版多占 4 位。解法：别手切原始序列，直接取字典里的x_norm_patchtokens，它已替你处理偏移。

3. 现象：ViT-g/14 上 518 分辨率，24G 卡直接 OOM。原因：1.1B 参数外加 1369 个 patch 的注意力，显存大头是注意力矩阵而不是权重。解法：降到 224 或 336 分辨率，或换 ViT-L/14；half()半精度还能再省一档。

4. 现象：内网机器拉不到远端，torch.hub.load一直超时。原因：默认先去远端仓库拉代码。解法：用source="local"指向本地克隆；权重首次下载后会缓存到磁盘，可离线拷贝进内网。

5. 现象：加载深度 / 分割头时报缺模块。原因：密集任务头依赖基础依赖之外的包。解法：pip install -r requirements-extras.txt，或直接用仓库的 conda-extras.yaml 环境。

下一步

除非你在追最后那 1 个点，ViT-B/14 或 L/14_reg4 是性价比之选，边缘场景用 ViT-S/14。接下来用 dinov2/run/eval/ 里的线性评测在你自己的数据上跑一轮，看特征的真实表现。

【免费下载链接】dinov2PyTorch code and models for the DINOv2 self-supervised learning method.项目地址: https://gitcode.com/GitHub_Trending/di/dinov2