Nemotron-Pretraining-Specialized-v1.2

Nemotron-Pretraining-Specialized-v1.2数据集是NVIDIA Nemotron预训练数据集合的一部分，专为Nemotron 3系列大语言模型设计。它通过高质量的合成数据，旨在提升模型在事实回忆、道德场景推理以及多样化问答生成方面的能力。数据集是对先前发布的Nemotron-Pretraining-Specialized-v1.1、v1和SFT-v1等数据集的扩展，建议结合使用以优化模型性能，并已准备好用于商业用途。数据集包含四个专门化的子集：事实寻求（基于Finewiki生成的事实性问答，增强模型的事实回忆能力）、道德场景（基于Moral Stories和Social Chemistry构建的道德情境多项选择题，带有思维链版本以提升道德推理能力）、生成式问答（大规模、多样化的问答对，用于训练开放式文本生成能力）和多项选择问答（大规模、多样化的问答对，用于训练理解和选择能力）。数据集规模庞大，总计约5.995亿个样本，存储容量为53.6 GB，以文本形式存储于Parquet文件中，每个样本包含四个核心字段：text（主要训练文本）、license（样本对应的许可证）、metadata（包含数据类别和所用生成模型的元数据）以及uuid（唯一标识符）。所有数据均为使用DeepSeek-v3、Mixtral-8x22B、Qwen3系列等多个先进大语言模型合成的。许可证因子集和样本而异，主要遵循CC-BY-4.0协议，部分样本使用CC-BY-2.0，道德场景子集还涉及MIT许可证；若使用生成式或多项选择子集训练并分发新AI模型，可能需要遵守DeepSeek模型许可证要求。该数据集适用于大语言模型的预训练、继续预训练或指令微调阶段，旨在帮助研究者和开发者构建在事实性、道德性和通用问答能力上更强大的开源模型。

The Nemotron-Pretraining-Specialized-v1.2 dataset is part of NVIDIA's Nemotron pre-training dataset collection, specifically designed for the Nemotron 3 series of large language models (LLMs). It leverages high-quality synthetic data to enhance model capabilities in factual recall, moral scenario reasoning, and diverse question answering generation. This dataset is an extension of previously released datasets including Nemotron-Pretraining-Specialized-v1.1, v1, and SFT-v1. It is recommended to use it in combination with these datasets to optimize model performance, and it is ready for commercial use. The dataset contains four specialized subsets: 1. Fact Seeking: Factual question-answer pairs generated based on Finewiki, aimed at strengthening the model's factual recall ability; 2. Moral Scenarios: Multiple-choice questions about moral situations constructed using Moral Stories and Social Chemistry, with chain-of-thought versions to improve moral reasoning capabilities; 3. Generative Question Answering: Large-scale, diverse question-answer pairs for training open-ended text generation capabilities; 4. Multiple-Choice Question Answering: Large-scale, diverse question-answer pairs for training comprehension and selection capabilities. The dataset has a massive scale, with a total of approximately 599.5 million samples and a storage capacity of 53.6 GB. It is stored as plain text in Parquet files, and each sample includes four core fields: "text" (the primary training text), "license" (the license associated with the sample), "metadata" (metadata containing the data category and the generative model used), and "uuid" (unique identifier). All data in the dataset is synthetic using multiple state-of-the-art large language models, including DeepSeek-v3, Mixtral-8x22B, and the Qwen3 series. Licenses vary across subsets and individual samples: most follow the CC-BY-4.0 license, while some samples use CC-BY-2.0, and the Moral Scenarios subset additionally covers the MIT license. If the Generative Question Answering or Multiple-Choice Question Answering subsets are used to train and distribute new AI models, compliance with DeepSeek model license requirements may be necessary. This dataset is applicable to the pre-training, continued pre-training, or instruction fine-tuning stages of large language models, and aims to help researchers and developers build more powerful open-source models with enhanced factual, moral, and general question answering capabilities.

原始信息汇总

数据集总览

• 名称: Nemotron-Pretraining-Specialized-v1.2
• 提供者: NVIDIA Corporation
• 创建日期: 2026年5月18日
• 用途: 用于NVIDIA Nemotron 3系列大语言模型的预训练，增强模型在事实记忆、道德场景、多样生成性和多项选择问题上的能力。
• 许可协议:
  • Nemotron-Pretraining-Fact-Seeking: CC-BY-4.0
  • Nemotron-Pretraining-Moral-Scenarios: CC-BY-4.0 + MIT
  • Nemotron-Pretraining-Generative 和 Nemotron-Pretraining-Multiple-Choice: 每个样本独立标注许可，大部分为CC-BY-4.0，部分为CC-BY-2.0。若用于训练并分发AI模型，可能需遵守DeepSeek License Agreement。
• 版本关系: 该数据集是先前发布的 Nemotron-Pretraining-Specialized-v1.1 和 v1 的扩展，需配合使用。
• 适用任务: 文本生成（text-generation）
• 语言: 英语（en）

数据集构成

该数据集包含4个子集，所有子集均为训练集（train split），数据格式为Parquet。

子集名称	描述	Token数（百万）	生成模型	许可协议
Nemotron-Pretraining-Fact-Seeking	基于Finewiki生成的事实性问答，提升事实记忆能力	35,029.6	Qwen3-30B-A3B-Instruct-2507	CC-BY-4.0
Nemotron-Pretraining-Moral-Scenarios	基于道德故事和社会化学构建的多选题，包含思维链版本	15.2	Mixtral-8x22B-v0.1, Qwen3-235B-A22B-Thinking-2507	CC-BY-4.0 (附加MIT)
Nemotron-Pretraining-Generative	大规模多样化合成问答，答案格式为生成式	685.2	DeepSeek-v3, Qwen3-235B-A22B	每个样本独立标注
Nemotron-Pretraining-Multiple-Choice	大规模多样化合成问答，格式为多项选择	6,099.6	DeepSeek-v3, Qwen3-235B-A22B	每个样本独立标注

数据字段

每条记录包含以下列：

• text: 主要数据字段，包含预训练用文本内容。
• license: 该样本适用的许可协议（如 cc-by-4.0）。
• metadata: 字典，包含：
  • category: 数据类型（Nemotron-Pretraining-Generative 或 Nemotron-Pretraining-Multiple-Choice）。
  • models_used: 生成该数据使用的模型。
• uuid: 数据条目的唯一标识符。

数据规模

• 记录数: 约5.995亿条（599.5M samples）
• 总存储量: 约53.6 GB

数据生成方法

• 收集方式: 合成生成
• 基础模型: DeepSeek-v3, Mixtral-8x22B-v0.1, Qwen3-30B-A3B-Instruct-2507, Qwen3-235B-A22B, Qwen3-235B-A22B-Thinking-2507
• 标注方式: 不适用

预期用途

供社区用于改进开源模型。

参考信息

• 技术报告：NVIDIA Nemotron 3 Ultra tech report
• 生成方法详述：Task-Seeded Synthetic Q&A Generation for Nemotron Pretraining

伦理考量

NVIDIA 倡导可信AI，开发者需自行评估数据集是否符合行业和应用需求，并预防产品误用。

搜集汇总

数据集介绍

构建方式

该数据集由NVIDIA精心构建，旨在增强大型语言模型在事实检索、道德场景分析及多样生成与选择题任务上的表现。其数据源于四大子集：Fact-Seeking子集基于Finewiki生成事实性问题；Moral-Scenarios子集从先前的SFT数据中采样道德情景，并利用Qwen3-235B-A22B模型生成思维链版本；Generative与Multiple-Choice子集则采用任务播种方法，分别依靠DeepSeek-v3和Qwen3等先进模型合成大规模问答对。所有数据以Parquet格式存储，总计约5.995亿样本，总量达53.6 GB。

特点

本数据集具备显著特性。它专为Nemotron 3系列模型设计，作为先前版本v1.1和v1的补充而非替代，共同用于预训练。各子集针对不同能力维度：Fact-Seeking通过真实世界事实提升知识回忆，在中间模型上使SimpleQA评分从40.2跃升至50.2；Moral-Scenarios聚焦伦理判断；Generative与Multiple-Choice则分别提供开放式与结构化的问答数据。数据采用宽松的CC-BY-4.0或CC-BY-2.0许可，支持商业使用。

使用方法

使用该数据集时需注意其组合性。建议与先前发布的Nemotron-Pretraining-Specialized-v1.1及v1版本联合使用，以发挥完整效果。数据集通过HuggingFace平台提供，每个样本包含text、license及uudid字段，其中text为预训练核心内容。Generative和Multiple-Choice子集的每个样本独立标注许可类型，多数为CC-BY-4.0，少数为CC-BY-2.0。若使用这些子集训练模型并分发，需遵守DeepSeek许可协议。数据可直接加载为Parquet文件并用于文本生成任务。

背景与挑战

背景概述

Nemotron-Pretraining-Specialized-v1.2是由英伟达公司于2026年5月发布的高质量合成预训练数据集，专为其Nemotron 3系列大语言模型设计。该数据集聚焦于提升模型在事实检索、道德场景推理以及多样化的生成式与选择题问答等核心能力，由事实寻求、道德情境、生成式问答与多选题四个子集构成。它通过引入基于Finewiki等知识源及先进合成技术生成的文本，显著扩展了此前v1.1与v1版本的数据覆盖范围。作为Nemotron预训练数据家族的重要组成部分，该数据集为构建更可靠、更具泛化性的语言模型提供了宝贵的训练资源，有力推动了开源大模型在复杂认知任务上的进步。

当前挑战

在领域问题层面，该数据集直面大语言模型在事实准确性、道德判断与复杂问答推理方面的固有短板，尤其致力于缓解模型在检索事实性知识时的高幻觉率与逻辑不连贯。构建过程中，英伟达团队面临多重挑战：其一是如何确保合成数据的高保真度与多样性，避免模型因重复模式而产生过拟合；其二是整合来自DeepSeek-v3、Qwen3系列等多种模型生成的文本，并协调不同许可协议（如CC-BY-2.0与CC-BY-4.0）的兼容性；此外，在海量数据中维持子集间语义平衡并去除潜在偏见，亦是保障数据集实用性的关键难点。

常用场景

经典使用场景

Nemotron-Pretraining-Specialized-v1.2数据集专为大语言模型的预训练阶段设计，其经典使用场景在于增强模型对事实性知识的精确回忆能力、道德场景的理解与推理能力，以及处理开放式生成与多选问答的泛化水平。该数据集由四个精心构造的子集构成：Fact-Seeking子集基于Finewiki生成事实性问答，以提升模型在知识密集型任务上的表现；Moral-Scenarios子集结合道德故事与社会化学规范，通过思维链形式训练模型的伦理判断；Generative与Multiple-Choice子集则通过大规模合成数据，分别锤炼模型的开放式生成与结构化选择题解答能力。这一多维度、合成驱动的预训练方案，为Nemotron系列模型注入了更为扎实的知识基底与场景适应力。

解决学术问题

该数据集直面当前大语言模型在预训练阶段面临的若干核心学术挑战：其一，模型在事实回忆任务中常受制于训练数据的稀疏性与噪声，Fact-Seeking子集通过针对性合成填补了这一知识空洞，在消融实验中将SimpleQA得分从40.2提升至50.2；其二，模型对伦理道德场景的推理往往流于表面，Moral-Scenarios子集借助链式思考技术，推动了机器道德推理从简单判别向深度演绎的范式演进；其三，大规模合成数据的可控生成与质量保障问题，Task-Seeded合成方法提供了一种可复现的解决方案。这些工作不仅提升了Nemotron系列模型的综合能力，更启示了合成数据在预训练中的系统化应用路径。

衍生相关工作

Nemotron-Pretraining-Specialized-v1.2的发布催生了一系列相关研究的涌现。其核心合成方法论——Task-Seeded Synthetic Q&A Generation，被后续工作引为生成高质量预训练数据的技术蓝本，推动了大规模合成数据生成策略的标准化。该数据集与先前版本的配合使用，形成了从基础预训练到专项能力增强的递进式数据体系，启发了模块化数据组合训练范式的探索。此外，基于该数据集的消融实验与模型评估方法，为衡量事实回忆与道德推理能力提供了可量化的基准，促进了预训练数据质量管理方法的迭代。其技术报告与数据特征分析，亦成为后续研究者在合成数据与模型能力耦合关系上的重要参考。