企业官网建设流程全解析

简介：《阿里研究院2024大模型训练数据白皮书》以PDF文档形式系统梳理大模型训练数据的现状与趋势，面向AI研发、数据治理、产品规划和政策研究人员，帮助理解高质量语料供给、合规使用及合成数据等关键问题。资源包共1个PDF文件，大小约11.93MB，内容完整、目录清晰，适合按章节检索与专题研读。白皮书围绕训练数据重要性、语言模型与多模态模型的数据类型、高质量数据标准、合成数据方案、训练数据治理、政府与社会协同生态以及阿里巴巴集团实践展开，并专门讨论“大模型训练不依赖用户个人信息”“中文语料短缺不是制约因素”等常见误解。读者可据此把握高质量数据的三重不确定性、合成数据的定义生成方法与训练作用，了解中美训练数据生态差异及开放务实的数据供给路径，为技术选型、数据合规和汇报材料提供参考。已有323人学习，适合需要快速建立大模型数据认知框架的从业者。

1. 拿到这份白皮书先别通读：它解决的其实是「语料预算怎么花」的问题

如果你正在给一个语言模型项目做数据方案，最难受的不是没数据，而是不知道该买什么、洗什么、合成什么。这份 2024 年发布的大模型训练数据白皮书，价值不在于告诉你“数据很重要”，而在于把训练数据从“越多越好”拆成了可讨论的预算分配问题：预训练要广、对齐要齐、行业落地要专，合成数据该花在哪个环节、花多少、怎么防退化。它更像一份语料建设的模板和素材库，适合算法负责人、数据产品经理和刚接手语料工程的同学。下面按“先看框架、再落表、最后避坑”的顺序拆，读完你能直接拿它对照自己手上的语料清单做一次盘点。

2. 按训练阶段拆数据需求：预训练、SFT、RLHF 三张语料清单怎么列

白皮书里最容易被跳过的是第 2 章，但它恰恰是后面所有讨论的地基。很多团队一上来就问“哪里能搞到高质量语料”，却没说清语料是喂给哪个阶段的。预训练、监督微调、基于人类反馈的强化学习，这三个阶段对数据的诉求不是程度差异，而是类型差异。把这三张清单分开列，后面的清洗、配比、合成才有参照系。

2.1 三阶段语料特征：广、齐、专的边界

预训练阶段的语料特征是“广”，目标是让模型构建基础能力、理解客观世界规律。网页、书籍、新闻、论文期刊、对话文本、代码，这些都属于世界知识的不同切面。这个阶段的数据量最大，但对单条数据的“正确答案”要求最低，因为训练方式是无监督学习，模型学的是分布和关联，不是标准答案。

监督微调阶段的特征是“齐”，需要标注人员设计问答、编写正确答案，把例题喂给模型，指望它在没见过的任务上举一反三。这里的“齐”不是数量齐，而是覆盖齐：任务类型要覆盖下游场景，答案风格要统一，标注口径要一致。我见过一个团队拿了三批不同外包写的微调数据，同一类问题三种答法，模型学出来像个精神分裂的客服。

RLHF 阶段同样是“齐”，但重点在“怎么说更好”。人类对模型回答打分、排序，让模型知道偏好顺序。这个阶段的数据量比 SFT 小得多，但标注成本最高，因为需要的是判断力而不是打字速度。

如果微调后要部署到工业、金融、医疗等垂直场景，还需要“专”的领域知识做继续预训练和对齐，来源是行业数据库、专业文档、专业网站。这一层的语料特征是深度，不是广度。

这张表建议直接贴到项目文档首页。每次有人问“这批数据能不能用”，先让他指出来是哪个阶段、对应哪一行。

2.2 把「广齐专」落成一张语料盘点表

光有分类不够，落地时要变成可勾选的盘点表。我一般会按下面这个结构拉一张 Excel 或飞书多维表，字段不多，但每个字段都能逼着人做决定。

填这张表的过程本身就是一次需求对齐。常见的情况是：预训练栏堆了几十行，SFT 栏只有三行，RLHF 栏空白。这说明团队把“找语料”等同于“堆预训练”，后面对齐阶段一定会卡住。

操作步骤可以按这个顺序走：

1. 先把现有语料按“能独立清洗的最小单元”拆行，不要按供应商拆，按数据类型拆。
2. 每行强制填阶段归属，填不进去的单独放“待定区”，每周评审一次。
3. 对“待定区”里的数据做小样本试训，用损失曲线和下游任务表现反推它属于哪个阶段。
4. 把缺口标记汇总成下游任务清单，反向驱动采购或合成。
5. 每季度更新一次，重点看“清洗后 token 数”有没有缩水。

第 3 步的试训不需要大模型，几亿参数的小模型跑几千步就能看出这批数据是“学知识”还是“学格式”。如果 loss 降得快但下游任务不动，大概率是重复内容太多；如果 loss 降得慢但任务指标有提升，说明信息密度高，值得加配比。

2.3 多模态语料的配对要求与常见误判

多模态部分白皮书讲得不算多，但有两个点很容易被误读。第一，图像-文本对不是“一张图配一句话”就行，它要让模型学习像素之间、文字与图像之间的关联。第二，视频-文本对除了单帧画面，还要让模型理解时间序列和动态变化。这意味着视频对的文本描述必须包含动作和因果，不能只写“一个人在走路”。

常见误判是把图像分类数据集直接当多模态训练集用。分类标签是离散类别，图像-文本对需要的是描述性语言，两者分布完全不同。我见过一个项目拿 ImageNet 风格的标签去喂图文模型，训练损失很好看，生成时却只会输出类别词。后来换成人工重写的描述性 caption，同一个模型的下游召回率才起来。

另一个误判是忽视配对质量的不对称。一张图配五条文本，如果四条是机器翻译的、一条是人工写的，模型学到的主要是翻译腔。常见做法是对配对数据做双向过滤：先用文本检索图像，再用图像检索文本，两边排名都靠前的对才留下。这个步骤会砍掉大量数据，但留下的那部分才真正可用。

3. 高质量数据的三重不确定性与评估维度：别急着定标准

“高质量”是这份白皮书里最反直觉的一章。很多团队想前置定一套打分标准，把高质量语料筛出来再训练，白皮书的观点是：这件事没有上帝视角。高质量的标准取决于模型应用目的，会因时而动、因人而异、因效而定。这不是让你放弃评估，而是让你把评估从“一刀切”改成“分阶段、分类型、可迭代”。

3.1 三重不确定性：类型、形态、配比

第一重是语料类型的不确定性。2020 年前后，对话能力是重点，对话文本被视为最重要的高质量数据；后来发现通用上下文理解更关键，书籍和科研论文的占比被拉高；再往后，推理能力成了北极星指标，代码和教材又被重视，因为代码里有大量条件控制结构，教材里有详细的数学推理链。到了行业模型，语料类型更没法一一列举：广告领域可能用视觉相似性图片构建匹配对，自动驾驶领域用人类驾驶员对稀有事件的应对数据。类型在变，前置标准自然定不住。

第二重是语料形态的不确定性。同一类语料，形态会演化。代码数据从执行单一任务进化到仓库级，模型学的是整体架构而不是单文件；教材从中小学级别拓展到大学级别，复杂场景下的推理能力才上得去。合成数据和数据增强也在改变形态：原始数据加工、改造、泛化后，才变成模型可用的知识类数据。

第三重是搭配的不确定性。不同来源的数据怎么混合、按什么顺序喂，直接影响模型能力。数据混合解决“配比”，数据课程解决“顺序”。白皮书里提到一个例子：从高赞社区语料里精选配合手工问答对，一千条高质量微调数据就能在模型对齐上取得不错效果。这说明“少而精”在特定阶段成立，但前提是配比和顺序对。

落到操作上，我一般会做三件事：

1. 建立“候选池”而不是“合格池”。所有语料先入候选池，按阶段和类型打标，不急于淘汰。
2. 每个阶段单独定评估口径。预训练看信息密度和去重率，SFT 看答案一致性和任务覆盖，RLHF 看标注员间一致性。
3. 配比做小步消融。每次只调一个来源的占比，跑固定步数看验证集损失和下游任务，记录最优区间，不追求全局最优。

3.2 质量、规模、多样性三维打分表怎么做

同类语料的评估，白皮书给了三个维度：质量、规模、多样性。这三个维度不是并列打分求平均，而是有先后顺序的。

质量维度，能从前置来源判断的就前置判断。新闻、论文、开源代码项目经过专业标准筛选，协作百科经过专注编辑者筛选，高赞对话经过用户互动筛选。判断不了的，用评估模型打分：先人工评价少量样本，定义可读性、帮助性、安全性等指标，再用这些样本训练评估模型，把人工标准转成机器可识别的特征，最后给全量网页打分。还有一部分语料，比如行业专业数据，缺少统一标准，只能在小规模训练中检验。

规模维度，关键不是“大”，而是“高信息密度的大”。白皮书里那个对比很说明问题：一个四百 TB 级的公共网页抓取集，未经清洗直接训，效果不如它清洗后三百 GB 级的子集。规模膨胀但信息密度下降，训练效率是负的。

多样性维度，一方面看公平性，网络采集的信息对弱势群体存在不平衡，可能加剧偏见；另一方面看安全能力，真实世界里的隐患样本往往是偶然事件，与其一概删除，不如打安全标签保留，反而能提升模型对安全风险的识别。

这张表的用法是：每批新语料先填“可前置判断”列，填不了的进“需模型打分”，再填不了的进“需训练中检验”。三列都填不出来的，说明这批数据连基本元信息都没采集，先补元信息再谈质量。

3.3 数据清洗与配比调度的执行顺序

清洗和配比不是两步，是交替进行的。我一般按这个顺序走，每一步都有对应的观察指标：

1. 去重。先做精确去重，再做近似去重。观察指标是重复率下降曲线，降到长尾平缓为止。
2. 去隐私内容。规则匹配加模型识别，重点是身份证号、手机号、住址、医疗记录。观察指标是抽检命中率。
3. 纠错与补缺。错别字、乱码、截断文本。观察指标是清洗后有效 token 占比。
4. 安全标签。不是全删，而是打标签分层，有害样本保留一部分做安全训练。
5. 配比消融。固定模型规模，调单一来源占比，记录验证集损失和下游任务。
6. 课程排序。从通用简单样本逐步过渡到专业复杂样本，观察训练后期 loss 是否还有下降空间。

第 5 步和第 6 步最容易被跳过。很多团队清洗完直接全量混在一起训，结果模型在简单任务上过拟合、复杂任务上欠拟合。配比消融不需要大算力，小模型加固定随机种子就能跑出趋势，关键是记录每次的配比和结果，形成团队自己的经验表。

4. 合成数据的落地边界：什么时候该用、怎么生成、怎么防退化

合成数据是这份白皮书里最像“新方案”的部分，也最容易被滥用。它的定义不复杂：用算法和数学模型建模真实数据的分布，再在分布上采样，生成模拟真实统计模式的新数据集。难的是判断什么时候该用、用哪种生成路径、怎么防止模型自己吃自己。白皮书的态度是“在发展中治理”，翻译成工程语言就是：先用起来，但必须留验证锚点。

4.1 合成数据的两种生成路径与适用场景

按是否基于真实数据集，生成方法分两类。

第一类基于真实数据。先建立模型捕获真实数据的分布特性和结构特征，刻画多变量关系，再从模型抽样。如果模型能很好代表真实数据，合成数据就有相似的统计特性。语言模型本身就是这条路线的极端例子：它研究了大量人类文本，分析词与词的关系，生成时每个词的选择取决于前一个词出现的统计概率。

第二类不基于真实数据，靠现有模型、统计模型、模拟模型或人类专业背景知识创建。游戏引擎合成的视频数据是典型，用虚拟场景生成大量带标注的多模态数据，喂给文生视频模型提升生成质量。仿真环境生成的数据还广泛用于具身智能、自动驾驶、科学计算等场景。

适用场景可以按“真实数据为什么不够”来分：

判断要不要用合成数据，先回答一个问题：真实数据短缺是因为“没有”，还是因为“拿不到”或“不敢用”。没有的，合成数据可以补分布；拿不到的，先解决采集渠道；不敢用的，先做脱敏和合规，合成数据是替代方案不是逃避方案。

4.2 对齐阶段自动化：Self-instruct 与 RLAIF 的工程化拆解

合成数据目前最成熟的落地在对齐阶段。白皮书里提到的几条路线，工程上可以这样拆。

Self-instruct 类方法的核心是用一个较强模型生成指令、输入和输出样本，过滤掉无效或重复信息，自动化微调出性能较好的小模型，全程几乎不需要人工标注。操作步骤大致是：

1. 准备少量种子指令，覆盖目标任务类型。
2. 用强模型批量生成新指令和对应输入输出。
3. 规则过滤加模型过滤，去掉格式错误、重复、低信息量样本。
4. 人工抽检一小批，确认风格和正确率。
5. 用过滤后的数据微调小模型，在留出任务上评估。

第 3 步是成败关键。过滤太松，噪声进训练集；过滤太严，多样性不够。常见做法是设三道筛：长度筛、去重筛、质量模型筛，每道筛都保留被筛掉的样本做分析，避免把有价值的长尾一起扔掉。

RLAIF 是在人类反馈强化学习的基础上，用模型生成偏好对或反馈，替代部分人工标注。流程是：强模型对同一输入生成多个回答，按预设原则排序，形成偏好对，训练奖励模型，再用强化学习优化策略模型。白皮书还提到自我对局思路，让新一代模型尝试区分上一代输出和真人输出，在满足条件时效果可以超过纯人工反馈。另一条路线是让模型在预设原则下自我批评和修正，得到既生成无害内容、又不一味拒答的模型。

工程上要注意两点。一是奖励模型的泛化边界，用合成偏好对训出来的奖励模型，容易在分布外输入上给出奇怪分数，必须留真实人工标注做校准集。二是拒答率监控，自动化对齐容易让模型学会“少说少错”，上线前要看拒答率和有用性的平衡，不能只看安全性指标。

4.3 防模型自噬：合成数据配比与验证指标

合成数据最大的风险是循环训练导致偏差放大。白皮书的表述是“在发展中治理”，工程上我一般设四道闸。

第一道，真实数据锚点。无论合成数据占比多少，验证集和测试集必须全部来自真实数据，且与训练集严格隔离。合成数据可以用来训，不能用来评。

第二道，配比上限。预训练阶段合成数据占比从低往高试，每档跑固定步数看验证损失；对齐阶段合成数据可以占大头，但奖励模型校准集必须保留真实人工标注。具体上限没有通用值，我见过预训练合成占比超过三成就出现分布漂移的，也见过对齐阶段九成合成仍然稳定的，取决于合成质量和任务类型。

第三道，多样性指标。监控合成数据的主题分布、句式分布、长度分布，和真实数据做对比。如果合成数据的分布越来越窄，说明生成模型在自我强化，需要注入新种子或换生成模型。

第四道，退化检测。固定一组留出任务，每个训练周期评一次，重点看事实准确性、指令遵循、长尾任务表现。如果这三项连续下降而训练损失还在降，基本可以判定自噬开始了。

再把领域知识的合成路径说清楚，白皮书里那个三步法很实用：原始数据转信息，信息提炼为知识，知识再泛化。以工业场景为例，设备时序数据和操作行为先转成结构化操作记录，操作记录结合行业知识图谱和专家经验变成“什么温度下该怎么操作、好处是什么”的知识条目，再用大模型把单条知识做多样性拓展。这条路径的关键是第二步，没有知识图谱和专家参与，第一步转出来的只是日志，不是语料。

5. 常见问题与排查：五条血泪踩坑记录

白皮书给的是框架，真到项目里翻车的地方往往在框架之间的缝隙。下面五条是我自己或身边团队踩过的，按“现象→原因→解决”写，能对上号的直接抄排查思路。

5.1 现象、原因与解决

现象一：按统一高质量标准筛完，语料只剩一成，模型效果反而变差。原因：把“高质量”当成跨类型、跨阶段的统一标尺。白皮书讲得很清楚，高质量类型有三重不确定性，同类数据的评估标准也不完全一致，前置标准最多对同类型数据在质量维度提供参考。解决：把筛选拆成“阶段口径加类型口径”，预训练看信息密度和去重率，SFT 看答案一致性，行业数据看领域准确性；被筛掉的样本进候选池，不直接删除，用小模型试训反推价值。

现象二：语料规模翻倍，训练 loss 降了，下游任务不动甚至倒退。原因：规模涨的是低信息密度内容，重复、模板化、机器翻译腔占比高。白皮书里那个四百 TB 原始集不如三百 GB 清洗子集的对比，说的就是这件事。解决：统计清洗前后 token 比、重复率、平均句长分布；对新增语料做信息密度抽样，用固定小模型跑消融，只保留对下游任务有正向增益的来源。

现象三：合成数据全量替换真实对齐数据，模型回答变得“正确但空洞”，拒答率上升。原因：合成偏好对缺少真实人类的判断多样性，奖励模型在分布外校准失效，策略模型学会少说少错。解决：保留真实人工标注做奖励模型校准集和最终评估集；合成数据占比逐档上调，每档看拒答率、有用性评分、事实准确性三条曲线；设置回退阈值，任一指标掉破基线就回退上一档配比。

现象四：中文语料只补“量”，模型中文表达流利但价值观和本土知识薄弱。原因：把中文语料短缺简单理解为规模问题。白皮书指出，量的短缺可以通过机器翻译和训练顺序安排部分弥补，但反映本土价值观的语料短缺翻译补不了，翻译会引入源语言偏见。解决：在预训练和对齐阶段单独设“本土价值观语料”类别，来源包括古籍、传统文化内容、主流媒体内容；先解决数字化和版权，再谈配比；评估时加本土知识问答和文化适配打分，不只看通用 benchmark。

现象五：把用户交互日志直接当训练语料，上线前合规评审被卡。原因：混淆了推理阶段数据和训练阶段数据。白皮书明确大模型训练阶段不依赖用户个人信息，过量的个人数据反而可能负面影响模型能力；推理阶段的交互日志含个人信息，不能直接回流训练。解决：交互日志先做去标识化和聚合统计，只保留任务类型、意图分布等元信息用于配比决策；确需使用的样本走单独审批和脱敏流程；训练语料盘点表里“合规风险”列必须逐行打勾，不能空着。

5.2 上线前的检查清单

这五条对应的检查项，我一般压成一页纸，评审前逐项过：

1. 语料盘点表是否按阶段和类型拆行，待定区是否小于总量的百分之五。
2. 清洗前后 token 比、重复率、信息密度抽样是否记录在案。
3. 合成数据是否单独标记，预训练和对齐阶段的占比是否做过消融。
4. 验证集和测试集是否全部来自真实数据，与训练集是否隔离。
5. 本土价值观语料是否有独立类别和评估项。
6. 交互日志是否只用于元信息统计，脱敏流程是否有记录。
7. 拒答率、事实准确性、长尾任务表现是否连续监控。

清单不用长，但每一项都要有负责人和证据链接。没有证据的勾等于没勾。

6. 把白皮书变成团队可执行的语料评审流程：我的三步验证法

读完白皮书最容易犯的错，是把它当成一份认知材料，看完点头，回头继续按老办法堆数据。我自己的做法是把它压成一个三步验证流程，每个新语料方案上线前强制走一遍。

第一步，小规模消融。固定一个小模型、固定随机种子、固定训练步数，只换语料来源或配比，看验证损失和三个下游任务的相对变化。这一步的目的是排除“大模型训练玄学”，把语料的影响从算力和超参里剥出来。我一般会跑四组：纯真实数据、真实加低比例合成、真实加高比例合成、纯合成。纯合成那组不是为了上线，是为了看退化边界在哪。

第二步，配比 A/B。在第一步确定的可接受区间里，选两个配比做并行训练，用同一套评估集打分。评估集要包含通用能力、领域任务、安全与拒答三类，每类至少两百条，人工抽检过。A/B 的观察周期不设固定步数，以验证损失进入平台期为准，避免早停误判。

第三步，留出集与安全评估。上线前用完全隔离的留出集跑一次全量评估，重点看三件事：事实准确性有没有掉、长尾任务有没有崩、拒答率和有用性的平衡有没有偏。合成数据占比越高，这一步越要严。

这套流程跑下来大概两周，比拍脑袋定配比慢，但比上线后回滚便宜。有一个细节值得说：每次消融的结果我都存成一张表，记录语料版本、配比、随机种子、评估分数。攒到十几轮之后，团队对新语料的第一反应会从“感觉能用”变成“先查表”。这种习惯比任何单次调参都值钱。

从那以后我每次接新语料，哪怕只是一批公开网页，都强制先跑一遍小规模消融再进主训练集，不再相信“这批数据看起来很干净”这种判断。希望帮到你。

本文还有配套的精品资源，点击获取