企业官网建设流程全解析

DeepSeek-V3 预训练数据分布：14.8T 训练 tokens 到底用在了哪里？

【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3

本文从官方 README 的基准成绩出发，反推 DeepSeek-V3 的预训练数据分布。一句话结论：英语与中文是语料主力，代码与数学被高密度训练，长文本与多语言覆盖面较广，低资源语言是明显短板。

一、先说方法：从基准分数反推数据分布的证据链

本文结论基于三级证据链，前两级是事实，第三级是推断，全文严格区分。第一级是官方披露：README.md 写明预训练训练 tokens 规模为14.8万亿 tokens、2.664M H800 GPU 小时，全程无不可恢复的损失峰值；第二级是官方公布的 Base 与 Chat 两版基准成绩；第三级是作者根据分数反推的语料配比，均标注为"推断"，不能当官方口径引用。另外两个背景：该模型是 671B 总参数、每 token 仅激活 37B 的 MoE（混合专家，即只让一部分"专家"网络参与计算，兼顾能力与成本）架构，并采用 FP8（8 位浮点低精度）训练，省显存也省算力。

二、核心发现：分数反推出的四个数据特征

本节结论先行：成绩指向"英语为主力、中文占比高、代码数学高密度、长文本多语言广覆盖"四个数据特征。

1. 英语数据仍是训练语料的主力

证据：Base 版 MMLU87.1%、BBH 87.5%，Pile-test 达 0.548 BPB（越低越好，逼近同档最强）。推断：英语在语料中占比大概率超过 50%，以学术文献与网页文本为主。对使用者的意义：英语知识问答与推理任务可直接使用，无需额外补偿。

图1：DeepSeek-V3 与 GPT-4o、Claude-3.5 等在 MATH-500、AIME 等任务上的成绩对比，数学与代码项差距最明显

2. 中文数据占比高，数学类中文任务优势突出

证据：C-Eval 90.1%（Base）/ 86.5%（Chat）、CMMLU 88.8%、CMath 90.7%，Chat 版 C-SimpleQA 64.8% 超过 GPT-4o 的 59.3%。推断：中文占比约 20%–30%，覆盖新闻、书籍、网络文本等来源。对使用者的意义：中文业务场景无需换模型，中文数学题能力可直接用于教育类产品。

3. 代码与数学语料被高密度训练

证据：HumanEval 65.2%、MBPP 75.4%、LiveCodeBench-Base 19.4%、MATH 61.6%、GSM8K 89.3%；Chat 版 MATH-500 90.2%、AIME 2024 39.2%、Codeforces 51.6 分位。推断：代码仓库与数学题库被大规模纳入预训练，且官方披露其后训练阶段从 R1 系列蒸馏了推理能力。对使用者的意义：代码辅助与数学推理是最强的两个能力点。

4. 多语言数据占比不低，长文本覆盖超出预期

证据：大海捞针（NIAH）测试中 2K–128K 上下文、0%–100% 文档深度的所有组合均保持接近满分（10 分）；MMMLU-non-English 79.4%，较 V2 提升 15.4 分。推断：预训练包含 128K 长上下文语料，多语言数据占比估计在 10%–20%。对使用者的意义：可做 128K 长文档解析类任务。

图2：长文本数据训练效果验证——NIAH 测试在 128K 上下文上全绿

三、落到你的场景 🎯：数据分布对应的四类使用建议

数据分布直接决定哪些场景可以"开箱即用"，下表把四个高频场景与证据分数对应起来。

四、诚实的边界 ⚠️：数据分布保证不了什么

反推出的强项不等于全能，以下三点是明确的缺口。1. 低资源语言：MMMLU-non-English 79.4% 与英语 87.1% 存在 7.7 分差距，且评测集之外的语言（泰语、越南语等）完全没有成绩支撑，此类业务建议补领域微调。2. 专业深度：GPQA-Diamond 59.1% 低于 Claude-3.5 的 65.0%，医疗、法律等合规敏感场景权威语料有限，建议领域微调加知识库。3. 推断盲区：数据清洗流程（去重、质量评分）官方未逐项公开，社区流传的 SimHash 去重等说法无法证实；Base 版 RACE-High 仅 51.3%，低于 LLaMA3.1 405B 的 56.8%，说明高难度英文阅读数据覆盖可能不足。

接下来值得关注

MTP（Multi-Token Prediction，每一步同时预测多个 token，还能反过来加速推理）模块正在进入推理框架，inference/configs/config_v3.1.json 显示 V3.1 配置已在社区推进，数据配比的变化会最先体现在长文本与推理基准上。落地前建议核对 README.md 的最新成绩，权重精度细节可参考 inference/fp8_cast_bf16.py。本地部署需克隆仓库：git clone https://gitcode.com/GitHub_Trending/de/DeepSeek-V3

【免费下载链接】DeepSeek-V3项目地址: https://gitcode.com/GitHub_Trending/de/DeepSeek-V3