企业官网建设流程全解析

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8训练数据集全解析：153个数据集详细分析

【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8是一款由NVIDIA开发的推理优化大型语言模型，它继承了Nemotron-3-Super-120B-A12B的强大能力，并通过创新的Iterative Puzzle压缩框架实现了显著提升的推理效率。这款模型在保持强大下游准确性的同时，将参数从120.7B总量/12.8B激活减少到75.3B总量/9.3B激活，为交互式、推理密集型任务提供了卓越的性能表现。🚀

📊 训练数据集概览

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8的训练数据集规模令人印象深刻，总规模达到15,573,172,908,990个令牌，涵盖了153个不同的数据集。这些数据集涵盖了从2013年到2026年2月24日的时间跨度，为模型提供了丰富多样的训练素材。

数据收集与处理策略

模型的训练数据采用混合收集方法，包括自动化收集、人工标注和合成生成三种方式。数据标注同样采用混合方法，确保了数据质量和多样性。这种精心设计的数据策略是模型能够在多个领域表现出色的关键因素。

🏗️ 核心数据集架构

基础预训练语料库

模型的训练建立在强大的Nemotron-3-Nano语料库基础上，主要包括以下几个核心集合：

公开数据集资源

模型训练使用了大量公开可用的高质量数据集，包括：

• 学术资源：arXiv、BioRxiv、PubMed摘要、PMC开放获取子集
• 数学资源：OpenWebMath、MathPile、NuminaMath CoT、FineMath、MegaMath
• 代码资源：GitHub爬取数据、Stack Exchange数据转储、OpenCodeReasoning-2
• 问答资源：HotpotQA、SQuAD2.0、AI2推理挑战、OpenBookQA
• 对话资源：LMSYS-Chat-1M、HelpSteer3、FastChat

🔬 数据集分类详解

1. 多语言训练数据 🌍

模型支持英语、法语、德语、意大利语、日语、西班牙语和中文等多种语言。多语言数据主要来自：

• 多语言Common Crawl：从三个Common Crawl快照（CC-MAIN-2024-51、CC-MAIN-2025-08、CC-MAIN-2025-18）中提取的15种语言数据
• 合成翻译数据：使用Qwen3-30B-A3B等模型生成的翻译内容
• 多语言维基百科：从Wikimedia转储中提取的多语言内容

2. 代码与编程训练数据 💻

为了提升模型的编程能力，训练数据包含了丰富的代码资源：

• GitHub代码爬取：747.4B令牌的原始源代码，经过许可过滤
• 合成代码概念：7.29B令牌，使用gpt-oss-20b和gpt-oss-120b生成
• CUDA内核：100k个合成CUDA内核，基于KernelBook、HuggingFace Transformers和FlashInfer
• 软件工程数据集：SWE-Gym、R2E-Gym-Subset、SWE-bench_Verified等

3. 数学与科学推理数据 🧮

数学推理能力是模型的重要特性，相关数据集包括：

• 数学问题集：Art of Problem Solving、美国数学竞赛（AMC 8/10）、GSM8K
• 高级数学资源：Advanced Reasoning Benchmark、PRM800K、SciBench
• 合成数学数据：使用DeepSeek-R1、Qwen2.5-Math-72B等模型生成的数学推理轨迹
• 科学数据：生物医学文献（BioRxiv、PubMed）、物理数据集、化学竞赛数据

4. 长上下文训练数据 📚

模型支持高达1M令牌的上下文长度，这得益于专门的长上下文训练数据：

• 长文档处理：CORE、PG-19、DOAB CC BY & CC BY-SA子集、NDLTD
• 合成长上下文数据：使用Qwen3-235B-A22B-Instruct-2507从学术论文和许可书籍生成
• 128Ki和512Ki序列长度训练：专门的长上下文恢复阶段

🎯 合成数据生成策略

NVIDIA采用了创新的合成数据生成方法，显著提升了模型质量：

教师模型蒸馏

训练过程中使用了多个先进的教师模型来生成高质量的合成数据：

• DeepSeek系列：DeepSeek-V3、DeepSeek-R1、DeepSeek-R1-0528
• Qwen系列：Qwen3-235B-A22B、Qwen2.5-72B、Qwen2.5-32B-Instruct
• 其他先进模型：gpt-oss-120b、Mixtral-8x22B-v0.1、Phi-4等

数据质量过滤

为确保合成数据的质量，NVIDIA实施了严格的数据过滤管道：

1. 结构检查：丢弃格式错误的示例（例如工具调用存在时缺少工具定义）
2. 重复检测：过滤表现出病态重复的推理轨迹
3. 内容过滤：应用基于关键词和正则表达式的过滤器，移除与特定政治实体对齐的内容

📈 数据集规模与分布

令牌数量分布

训练数据的总规模为15.57万亿令牌，分布在以下主要类别中：

• 网页数据：超过9万亿令牌（Nemotron-CC-v2系列）
• 代码数据：超过1.5万亿令牌
• 数学数据：超过2000亿令牌
• 合成数据：超过6万亿令牌

语言分布

虽然主要语言是英语，但模型也接受了其他6种语言的大量训练：

• 英语：主要训练语言，占绝大多数数据
• 法语、德语、意大利语、日语、西班牙语、中文：通过翻译和原生内容支持

🔧 数据增强技术

知识蒸馏恢复

Puzzle-75B-A9B-FP8从Nemotron-3-Super-120B-A12B初始化，并继承了父模型的预训练和后训练数据。压缩恢复阶段使用知识蒸馏，混合了30%的预训练数据和70%的监督微调数据。

强化学习恢复

模型经过强化学习恢复，专注于软件工程和代理能力：

• 软件工程RL管道：单步工具使用比较训练和端到端沙盒RL
• 多轮交互：代理在隔离的执行环境中进行多轮交互
• 权重平均：多个RL运行的权重平均以获得最终检查点

🛡️ 安全与伦理考虑

内容安全数据集

模型训练使用了专门的安全数据集来确保负责任的行为：

• Nemotron内容安全数据集V2
• Gretel合成安全对齐数据集
• RedTeam-2K和恶意任务数据集

偏见缓解策略

数据集在人口统计群体代表性方面存在不均衡，NVIDIA采取了以下缓解措施：

• 偏见审计：定期评估模型输出中的偏见
• 平衡数据集微调：使用人口统计平衡的数据集进行微调
• 反事实数据增强：通过数据增强技术与期望的模型行为对齐

🎓 教育与应用数据集

教育资源

模型训练包含了丰富的教育资源，提升了教学和解释能力：

• OpenStax：CC BY-SA子集的开放教育资源
• 开放教材库：CC BY-SA和GNU子集的教育材料
• 可汗学院数学关键词：数学教育内容

专业领域数据

模型在多个专业领域接受了专门训练：

• 法律领域：法院监听器、SEC的EDGAR系统
• 金融领域：FinQA、财务报表分析
• 医疗领域：MedMCQA、生物医学文献
• 伦理领域：社会化学101、道德故事

📊 数据质量保证

验证机制

所有合成数据都经过严格的自动验证：

• 编译器检查：代码数据的语法和语义正确性
• 数值检查：数学推理的准确性验证
• 语言识别：多语言内容的质量控制

许可合规性

所有训练数据都经过许可检查，确保合规使用：

• 开源许可：MIT、Apache 2.0、CC BY-SA等
• 商业许可：确保商业部署的合法性
• 数据来源追踪：完整的数据来源记录

🚀 部署优化数据集

量化训练数据

FP8检查点针对Hopper级GPU优化，NVFP4检查点针对Blackwell级GPU优化。模型还使用持续的MTP训练来提高推测解码接受长度和增加服务吞吐量。

推理优化

训练数据特别注重推理效率，包括：

• 交互式工作负载：对话和问答数据
• 推理密集型任务：数学和逻辑推理数据集
• 长上下文处理：文档理解和总结数据

💡 总结与展望

NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8的训练数据集代表了当前AI训练数据工程的巅峰之作。153个数据集的精心组合，超过15万亿令牌的庞大规模，以及创新的合成数据生成策略，共同造就了这款在推理、编码、多语言、长上下文和代理基准测试中表现卓越的模型。

这款模型的成功不仅在于其先进的架构设计，更在于其背后精心策划的训练数据生态系统。从Common Crawl的大规模网页数据到高度专业化的合成数据集，每一个数据源都经过精心挑选和处理，确保了模型在广泛任务中的卓越表现。

随着AI技术的不断发展，我们可以期待NVIDIA继续推动训练数据质量的边界，为下一代AI模型提供更加丰富、多样和高质量的训练资源。🎯

【免费下载链接】NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/NVIDIA-Nemotron-Labs-3-Puzzle-75B-A9B-FP8