☰
精度如何?EVIE-4.5B与12款主流视觉文档检索模型的ViDoRe基准完整对比清单
2026/10/20 3:15:47 网站建设 项目流程
  • 人工智能
  • 大模型
  • Embedding
  • RAG
  • 计算机视觉

【免费下载链接】EVIE-4.5B

项目地址:https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B
点击查看免费下载

这份对比清单完整呈现了EVIE-4.5B视觉文档检索模型在ViDoRe 基准上的精度表现,并与 12 款主流多向量检索模型逐项对比。不用跑分、不用看论文,一张表格就能搞清楚:它到底比同行强多少、强在哪些领域、省掉精度多少才划算。

📌 一分钟了解 EVIE-4.5B:轻量级视觉文档检索模型

EVIE-4.5B(Evidence-Vector-Informed Embedding)由腾讯开源,基于 Qwen3.5-4B 骨干网络,参数量仅4.61B,是目前 ViDoRe 排行榜上的前两名之一。它解决的核心问题是:

用户输入一句自然语言(如"第三季度总营收是多少?"),模型直接从文档图片中找到答案所在页面,而不需要 OCR 转文字。

它的三个技术支柱决定了精度上限:

  • Late-Interaction 多向量范式:文档页保留约 750 个 token 级向量,通过 MaxSim 打分,不丢失表格、图表、小字号等细节
  • Prefix-MRL 弹性投影:单个 2048D 线性投影,运行时可截断为 64/128/256/512/1024/2048D,一份权重对应六种精度档位
  • HAC 免训练 token 压缩:把每页向量从 ~750 压到 32 个,百万页索引仅3.81 GiB

模型配置可直接在 config.json 中查看,其中head_dims字段定义了 6 个 Matryoshka 维度档位。

🏛️ 先看懂 ViDoRe 基准:为什么它代表"真实检索难度"

ViDoRe(Visual Document Retrieval)是视觉文档检索的权威评测基准,特点是查询是自然语言问题,候选是整页文档图片——模型必须真正"看懂"图,而不是匹配关键词。

基准分三代,难度递增:

版本评测指标特点
ViDoRe V1nDCG@5多领域图文检索,基础盘
ViDoRe V2nDCG@5更严格的查询-文档匹配
ViDoRe V3nDCG@10引入多语言(如法语财务文档)、工业级领域

核心指标nDCG衡量"相关文档是否排在前面的位置",分数越高,检索结果越贴合用户预期。EVIE-4.5B 还额外在JinaVDR上评测,四块榜单共138 个任务,评测脚本位于 code/shared/eval.py,运行入口是 code/shared/eval_run.sh。

🏆 核心对比:EVIE-4.5B 对 12 款主流模型完整清单

以下为官方 README 中汇总的完整对比(括号内为模型参数量),按 V3 分数排序:

排名模型基础模型参数量嵌入维度V1 (nDCG@5)V2 (nDCG@5)V3 (nDCG@10)
🥇EVIE-8BQwen3.5-9B8.41B4096D92.1874.2366.75
🥈EVIE-4.5BQwen3.5-4B4.61B64–2048D92.0773.3866.02
🥉EVIE-Preview-4.5BQwen3.5-4B4.54B128D91.7370.8765.36
4webAI-ColVec1.1-8bQwen2.5-VL8.40B640D91.3065.8265.32
5VultronRetrieverPrime-8BQwen3.5-9B8.40B320D92.0868.1864.26
6webAI-ColVec1.1-4bQwen2.5-VL4.54B640D90.4963.6063.90
7VultronRetrieverCore-4.5BQwen3.5-4B4.50B320D92.2166.1263.57
8nemotron-colembed-vl-8b-v2Nemotron-8B8.80B4096D92.6565.1663.54
9tomoro-colqwen3-embed-8bQwen2.5-VL8.00B320D90.7665.4061.60
10nemotron-colembed-vl-4b-v2Nemotron-4B4.80B2560D91.6264.4961.42
11colqwen3.5-4.5B-v3Qwen3.5-4B4.60B128D91.5464.2561.46
12tomoro-colqwen3-embed-4bQwen2.5-VL4.00B320D90.5764.6960.16
13VultronRetrieverFlash-0.8BQwen3.5-0.8B0.85B320D88.1560.3656.16

🔍 清单解读:三个关键结论

1️⃣ 4.61B 参数打出 8B 级的精度。EVIE-4.5B 的 V3 分数 66.02,仅比 8.41B 的 EVIE-8B 低 0.73 分,却比同为 4.5B 级别的 webAI-ColVec1.1-4b 高出2.12 分,比 8.80B 的 nemotron-colembed-vl-8b-v2 还高 2.48 分——这是"参数效率"最直观的证明。

2️⃣ 领先优势集中在 V3(最难版本)。在 V1 上各家分数挤在 90–92.65 的窄区间(差距 < 2 分),但到了 V3,EVIE-4.5B 与第 4 名拉开 0.7 分、与中下游模型拉开 4 分以上的差距。说明多语言、复杂领域等"深水区"才是拉开差距的地方。

3️⃣ 精度与体积可以兼得。即使只保留 64D 前缀(每个向量 128 字节),V3 分数仍有 64.51,与完整版 66.02 仅差 1.5 分,而索引体积缩小到 1/32。

📊 领域细分:EVIE-4.5B 在哪类文档上最强?

ViDoRe V3 覆盖 8 个垂直领域,nDCG@10 细分为:

领域EVIE-4.5B全场最强(EVIE-8B)第4名 webAI-ColVec1.1-8b
计算机科学 CompSci81.7281.8680.08
能源 Energy72.3272.5170.12
英语财务 Finance EN70.0071.2371.90
法语财务 Finance FR54.9056.4054.87
人力资源 HR67.8269.2968.55
工业 Industrial59.4059.7757.65
制药 Pharma70.2770.8167.88
物理 Physics51.6952.1151.50

两个观察:

  • 工业领域是 EVIE-4.5B 的明显强项(59.40 vs 第 4 名的 57.65),图纸、规格表类文档结构复杂,多向量表示的优势被放大
  • 法语财务和物理是全场公认难点(均在 56 分以下),法语财务还考验跨语言能力——EVIE-4.5B 在此以 54.90 小幅领先多数对手

🎯 弹性精度档位:Prefix-MRL 让你"按需付费"

传统多向量模型想换维度就要换模型,EVIE-4.5B 用单个 2048D 投影头 + 运行时截断解决了这个问题(ARD 蒸馏保证低维前缀不崩):

维度每向量字节V1V2V3JinaVDR138任务均值
64D128 B92.1673.1864.5181.0077.71
128D256 B92.2873.3765.2781.8378.18
256D512 B92.2073.8365.6882.0978.45
512D1 KiB92.3874.5365.9082.2778.77
1024D2 KiB92.3974.5365.9482.4378.82
2048D4 KiB92.5374.9166.0282.4878.98

选型建议:追求极限精度选 2048D;生产环境用 512D/1024D 是性价比拐点(仅损失 0.02–0.12 分 V3 分数,体积省 3–8 倍);边缘设备或超大语料再压到 128D。

🗜️ 压缩后精度会掉多少?HAC 三个 SKU 实测

生产环境的痛点是百万级文档索引的存储成本。HAC(分层凝聚聚类,源码在 code/compress/hac/core.py)免训练地把每页 ~750 个向量聚成 32/64 个质心:

SKU每页负载百万页索引向量/页V1V2V3
d64 K324 KiB3.81 GiB3289.2767.8359.58
d64 K648 KiB7.63 GiB6490.6370.7162.06
d128 K328 KiB7.63 GiB3290.0069.4561.40

对比不压缩的 2048D 版本(V3 = 66.02),最激进的 d64 K32 配置只损失约 6.4 分,换来索引体积下降约100 倍。如果存储是瓶颈,d64 K64 是精度与体积的平衡点。

✅ 30 秒亲手验证:8 页 demo 检索

不想只看榜单?仓库内置了一个 8 页文档演示集(财务、发票、架构图、代码报错等),一条命令即可在本机跑出检索分数:

bash examples/demo/run.sh

demo 数据构建自 examples/demo/run.sh,评测指标与正式 138 任务矩阵完全一致(MVT=1024、双向注意力),所以本地跑出的分数可以直接对照前文的基准协议。

📋 快速总结:这份清单告诉你什么

  • 绝对精度:V1 92.53 / V2 74.91 / V3 66.02 / JinaVDR 82.48(nDCG@10),四榜 138 任务宏平均78.98
  • 横向定位:13 款主流模型中位列第 2,是唯一同时登顶 V1/V2 附近且参数不到 5B的模型
  • 弹性能力:64D–2048D 六档精度自由切换,最低档位仍保持 13 款模型中游水准
  • 工程友好:HAC 压缩后百万页索引 3.81 GiB 起,可跑在消费级存储上

💡 一句话:如果你的文档检索系统要求"看图直接答",且在意 5B 级显存/存储预算,EVIE-4.5B 是当前 ViDoRe 基准上精度-成本比最突出的选择。

  • 人工智能
  • 大模型
  • Embedding
  • RAG
  • 计算机视觉

【免费下载链接】EVIE-4.5B

项目地址:https://ai.gitcode.com/tencent_hunyuan/EVIE-4.5B
点击查看免费下载

相关推荐

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

需要专业的网站建设服务?

联系我们获取免费的网站建设咨询和方案报价,让我们帮助您实现业务目标

立即咨询