Nemotron-3-Nano-RL-Training-Blend

Nemotron-3-Nano-RL-Training-Blend是一个精心策划的数据集混合体，用于训练Nemotron-3-Nano-30B-A3B模型。该混合体由以下组件数据集组成，括号中显示了混合比例：

* nvidia/Nemotron-RL-instruction_following (0.17)
* nvidia/Nemotron-RL-knowledge-mcqa (0.20)
* nvidia/Nemotron-RL-agent-workplace_assistant (0.10)
* nvidia/Nemotron-RL-instruction_following-structured_outputs (0.05)
* nvidia/Nemotron-RL-coding-competitive_coding (0.25)
* BytedTsinghua-SIA/DAPO-Math-17k (0.10)
* Skywork/Skywork-OR1-RL-Data (excluding OmniMath) (0.12)

对于BytedTsinghua-SIA/DAPO-Math-17k和Skywork/Skywork-OR1-RL-Data数据，使用指向原始数据集中的条目的占位符，而不是在此数据集中复制数据。提供了一个脚本，可用于从原始数据集下载数据到混合体中。用户有责任检查所选数据集的许可证是否适合预期用途。

对于nvidia/Nemotron-RL-coding-competitive_coding数据，不包括来自`tacos`或`apps`子集的样本。

数据集根据Nemotron-3-Nano-30B-A3B技术报告中描述的课程进行预处理。样本按通过率从高（容易）到低（难）排序，确保平衡的学习进度。

该数据集作为NVIDIA NeMo Gym的一部分发布，NeMo Gym是一个用于构建强化学习环境以训练大型语言模型的框架。NeMo Gym包含越来越多的训练环境和数据集，以实现从可验证奖励的强化学习（RLVR）。

该数据集已准备好用于商业用途。

原始信息汇总

Nemotron-3-Nano-RL-Training-Blend 数据集概述

数据集基本信息

• 数据集名称：Nemotron-3-Nano-RL-Training-Blend
• 所有者：NVIDIA Corporation
• 创建日期：2025年12月20日
• 许可证：ODC Attribution License (odc-by)
• 主要语言：英语 (en)
• 商业使用：已准备好用于商业用途

数据集描述与用途

• 核心描述：本数据集是一个经过精心策划的混合数据集，用于训练 Nemotron-3-Nano-30B-A3B 模型。
• 预期用途：与 NVIDIA NeMo Gym 框架配合使用，用于大型语言模型的后训练。
• 所属系列：本数据集是 NeMo Gym 系列的一部分。

数据集构成与混合比例

本数据集由以下组件数据集按指定比例混合而成：

1. nvidia/Nemotron-RL-instruction_following (0.17)
2. nvidia/Nemotron-RL-knowledge-mcqa (0.20)
3. nvidia/Nemotron-RL-agent-workplace_assistant (0.10)
4. nvidia/Nemotron-RL-instruction_following-structured_outputs (0.05)
5. nvidia/Nemotron-RL-coding-competitive_coding (0.25)
6. BytedTsinghua-SIA/DAPO-Math-17k (0.10)
7. Skywork/Skywork-OR1-RL-Data (excluding OmniMath) (0.12)

重要说明：

• 对于 BytedTsinghua-SIA/DAPO-Math-17k 和 Skywork/Skywork-OR1-RL-Data 的数据，本数据集使用指向原始数据集的占位符，而非复制数据。提供了一个脚本，可用于将原始数据集的数据下载到本混合数据集中。
• 对于 nvidia/Nemotron-RL-coding-competitive_coding 数据，不包含来自 tacos 或 apps 子集的样本。
• 用户有责任检查所选数据集的许可证是否适合其预期用途。

数据预处理与排序

• 数据集根据 Nemotron-3-Nano-30B-A3B 技术报告中描述的课程进行预处理。
• 样本按照通过率从高（较易）到低（较难）的顺序排列，以确保平衡的学习进程。

数据集特征

• 数据收集方法：合成
• 标注方法：合成
• 数据格式：纯文本，与 NeMo Gym 兼容

数据集量化信息

• 样本数量：93,244 个样本
• 总存储大小：6.92 GB

参考与框架

• 关联框架：本数据集作为 NVIDIA NeMo Gym 的一部分发布。NeMo Gym 是一个用于构建强化学习环境以训练大型语言模型的框架，也是 NVIDIA NeMo 框架内的一个开源库。
• 技术报告：预处理方法参考了 Nemotron-3-Nano-30B-A3B 技术报告 (http://research.nvidia.com/labs/nemotron)。

伦理考虑

NVIDIA 认为可信赖的 AI 是一项共同责任，并已制定相关政策和实践以支持广泛的 AI 应用开发。开发者应根据内部模型团队的要求，确保该模型满足相关行业和用例的需求，并解决不可预见的产品误用问题。

搜集汇总

数据集介绍

构建方式

在大型语言模型强化学习训练领域，数据集的构建策略直接影响模型的学习轨迹与最终性能。Nemotron-3-Nano-RL-Training-Blend采用了一种精心设计的混合构建方法，它并非单一来源的数据集合，而是由七个不同功能的子数据集按特定比例融合而成。这些子数据集分别侧重于指令跟随、知识性多项选择、智能体办公助手应用、结构化输出生成、竞争性编程以及数学问题求解等多个维度。其中，对于部分外部数据集，本资源采用了占位符链接机制，用户需通过配套脚本从原始出处获取数据，并自行确认相关许可协议的适用性。尤为关键的是，数据集中的所有样本均依据预设的课程学习顺序进行了预处理，按照通过率从高到低排列，从而为模型提供了一条由易到难、循序渐进的学习路径。

使用方法

本数据集的主要用途是服务于大型语言模型的后续强化学习训练阶段，尤其与NVIDIA NeMo Gym框架深度集成。使用者首先需要配置好NeMo Gym环境，随后可按照框架指引加载此混合数据集。对于数据集内以占位符形式引用的外部数据，用户需运行提供的专用脚本完成实际数据的下载与整合，并在此过程中对原始数据集的许可协议进行合规性评估。在实际训练流程中，模型将依循数据集预设的课程顺序，从通过率较高的简单样本开始学习，逐步过渡到更具挑战性的复杂任务，以此优化训练动态并提升最终性能。该数据集已获准用于商业用途，为开发者在构建高性能、可验证的语言模型智能体方面提供了关键的训练资源。

背景与挑战

背景概述

在大型语言模型强化学习训练领域，数据集的构建对于模型性能的提升具有决定性作用。Nemotron-3-Nano-RL-Training-Blend由NVIDIA公司于2025年12月20日发布，作为其NeMo Gym框架的核心组成部分，旨在为Nemotron-3-Nano-30B-A3B模型提供优化的训练数据。该数据集通过精心调配多个子数据集的比例，涵盖指令遵循、知识问答、智能体辅助、结构化输出、竞争性编程以及数学推理等多个维度，从而系统性地应对大语言模型在复杂任务泛化与精确执行方面所面临的核心研究问题。其采用的课程学习策略，依据样本通过率从易到难排序，确保了训练过程的平稳过渡与高效收敛，为强化学习从可验证奖励（RLVR）范式提供了高质量的数据支撑，推动了语言模型对齐与能力扩展的前沿探索。

当前挑战

该数据集致力于解决大语言模型在强化学习后训练阶段的多任务泛化与精确对齐挑战，其核心在于如何通过混合多样化的数据源来平衡模型在不同领域（如代码生成、数学推理、指令遵循）的性能，避免灾难性遗忘并提升整体鲁棒性。在构建过程中，挑战主要体现在数据集的集成与预处理环节：需要科学设计各子数据集的比例以优化训练课程，同时处理不同来源数据的格式统一与质量筛选；部分数据采用占位符引用原始数据集，用户需自行验证许可合规性并完成下载，增加了使用复杂度；此外，排除特定子集（如`tacos`或`apps`）以及确保合成数据的真实性与有效性，也对数据集的可靠性与泛化能力提出了严格要求。

常用场景

经典使用场景

在强化学习与大型语言模型融合的前沿领域，Nemotron-3-Nano-RL-Training-Blend数据集被精心设计用于支持基于可验证奖励的强化学习训练流程。该数据集通过整合指令遵循、知识问答、代理助手、结构化输出、竞争性编程及数学推理等多维度任务，构建了一个层次化、渐进式的课程学习环境。其核心应用场景在于为Nemotron-3-Nano-30B-A3B等模型提供系统化的后训练数据，帮助模型在复杂、多样化的任务序列中逐步提升泛化与推理能力，实现从易到难的学习过渡。

解决学术问题

该数据集致力于解决大型语言模型在强化学习微调过程中面临的数据稀缺与任务异构性挑战。通过融合多个高质量、可验证的合成数据源，它提供了标准化的评估基准与训练轨迹，使得研究者能够系统探索课程学习、多任务强化学习以及奖励模型设计等关键问题。其意义在于推动了可扩展、可复现的RLVR方法发展，为模型对齐、安全性与能力提升提供了实证基础，促进了人工智能从静态预训练向动态交互学习的范式转变。

实际应用

在实际工业部署中，该数据集支撑了智能助手、代码生成、数学解题及职场代理等多样化应用的模型优化。借助NeMo Gym框架，开发者能够利用该数据集对已有语言模型进行针对性强化学习训练，提升其在特定领域如竞争编程、结构化输出生成中的准确性与可靠性。这种数据驱动的微调方法使得模型能够更好地适应复杂、动态的真实世界需求，为企业级AI解决方案的快速迭代与性能提升提供了关键数据基础设施。

数据集最近研究

最新研究方向

在强化学习与大语言模型融合的浪潮中，Nemotron-3-Nano-RL-Training-Blend数据集代表了当前领域内一种前沿的合成数据构建范式。该数据集通过精心调配指令遵循、知识问答、代码生成及数学推理等多个维度的子数据集，旨在为Nemotron-3-Nano-30B-A3B模型提供阶梯式训练支持。其核心研究方向聚焦于强化学习从可验证奖励（RLVR）框架下的课程学习策略，通过按样本通过率排序实现从易到难的渐进式训练，以提升模型在复杂任务中的泛化与鲁棒性。这一方法呼应了当前业界对高效、可控且可扩展的模型后训练技术的迫切需求，尤其在智能体协作、结构化输出生成等热点应用场景中展现出重要潜力，为开源社区如NeMo Gym提供了关键的数据基础设施，推动着下一代AI助手向更可靠、更专业的方向演进。