Nemotron-RL-Ultra-Training-Blends

本数据集提供了公开的Nemotron-3-Ultra后训练配方所使用的强化学习（RL）和多教师在线策略蒸馏（MOPD）训练数据混合。这些混合数据通过NeMo Gym代理框架被NeMo RL训练配方所使用，其中每个提示都与一个能够返回可验证或基于判断的奖励的代理/环境配对。数据集包含七个独立的子集（混合），分别是rlvr1、rlvr2、ifbench、rlhf、reasoning、swe和mopd。每个子集均由NVIDIA发布的数据集与多个外部数据集混合而成，具体混合比例在README中详细列出，涵盖了工具使用对话、软件工程、数学、代码、安全、推理、指令遵循、问答、知识、格式化等多种任务领域。数据总规模约为337,721个样本，总计约17.1 GB。数据格式为JSONL（NeMo Gym提示/代理记录），包含文本和元数据。数据收集和标注方法为混合模式（人工与合成）。数据集适用于研究人员和开发者使用NeMo RL配方和NeMo Gym代理框架对大型语言模型进行基于强化学习的后训练。数据集采用多种许可证（CC BY-SA 4.0、CC BY 4.0、ODC-BY 1.0、MIT、Apache 2.0），可用于商业或非商业用途。

原始信息汇总

数据集概述：Nemotron-RL-Ultra-Training-Blends

基本信息

• 数据集名称：Nemotron-RL-Ultra-Training-Blends
• 所有者：NVIDIA Corporation
• 创建日期：2026-05-29（最后修改于2026-06-03）
• 语言：英语
• 许可证：CC BY-SA 4.0、CC BY 4.0、ODC-BY 1.0、MIT、Apache 2.0
• 任务类别：文本生成

数据集描述

该数据集为 Nemotron-3-Ultra 后训练方案提供了强化学习（RL）和多教师在线策略蒸馏（MOPD）训练数据混合集。通过 NeMo Gym 智能体框架，每个提示与一个能够返回可验证或基于判断的奖励的智能体/环境配对。每个子集是一个独立的混合数据集。

预期用途

面向研究人员和开发者，使用 NeMo RL 训练方案和 NeMo Gym 智能体框架对大型语言模型进行强化学习后训练。

数据集构成

数据集包含7个子集（配置），每个子集是一个独立的数据混合：

rlvr1（98,424 样本，5.0 GB）

由17个数据集混合组成，主要成分包括：

• nvidia/Nemotron-RL-Agentic-Conversational-Tool-Use-v1（20.36%）
• nebius/SWE-rebench-V2 + SWE-Gym/SWE-Gym（14.12%）
• nvidia/Nemotron-RL-instruction_following（12.02%）
• nvidia/Nemotron-RL-Math-v4（10.86%）
• 其他13个数据集（2.11% - 8.06%不等）

rlvr2（99,116 样本，5.0 GB）

由20个数据集混合组成，主要成分包括：

• nvidia/Nemotron-RL-Agentic-Conversational-Tool-Use-v1（20.21%）
• nebius/SWE-rebench-V2 + SWE-Gym/SWE-Gym（14.02%）
• nvidia/Nemotron-RL-Math-v4（10.79%）
• nvidia/Nemotron-RL-instruction_following（10.50%）
• 其他16个数据集（0.91% - 8.00%不等）

ifbench（34,649 样本，890 MB）

由5个数据集混合组成：

• nvidia/Nemotron-RL-QA-Abstention-v1（43.00%）
• nvidia/Nemotron-RL-instruction_following（21.46%）
• nvidia/Nemotron-RL-Instruction-Following-MultiTurnChat-v1（21.18%）
• nvidia/Nemotron-RLHF-GenRM-v1（7.19%）
• nvidia/Nemotron-RL-InverseIFEval-v1（7.17%）

rlhf（6,500 样本，36 MB）

由2个数据集混合组成：

• nvidia/Nemotron-RLHF-GenRM-v1（84.62%）
• nvidia/Nemotron-RL-Safety-v1（15.38%）

reasoning（5,236 样本，4.5 MB）

• 100% 来自 virtuoussy/Multi-subject-RLVR

swe（7,816 样本，563 MB）

• nebius/SWE-rebench-V2（97.36%）
• SWE-Gym/SWE-Gym（2.64%）

mopd（85,980 样本，5.5 GB）

由20个数据集混合组成，主要成分包括：

• nebius/SWE-rebench-V2 + SWE-Gym/SWE-Gym（15.27%）
• nvidia/Nemotron-RL-Math-v4（12.44%）
• nvidia/Nemotron-RL-Instruction-Following-Structured-Outputs-v2（12.42%）
• 其他17个数据集（0.29% - 12.11%不等）

数据集总量

• 总计样本数：337,721
• 总大小：约17.1 GB

数据准备与格式

• 模态：文本
• 格式：JSONL（NeMo Gym 提示/智能体记录），结构包含文本和元数据
• 数据收集方法：混合（人工、合成）
• 标注方法：混合（人工、合成、自动化）
• 部分数据集使用占位符指向原始数据集（如 BytedTsinghua-SIA/DAPO-Math-17k、Skywork/Skywork-OR1-RL-Data），需使用 fill_placeholders.py 脚本下载填充
• 每个混合集根据 Nemotron-3-Ultra 技术报告中的课程方案进行预处理，样本按通过率从高到低（简单到困难）排序

伦理考量

NVIDIA 倡导可信赖的人工智能，鼓励开发者确保数据集符合相关行业和用例的要求，并解决未预见的产品滥用问题。

参考资料

• NeMo RL：https://github.com/NVIDIA-NeMo/RL
• NeMo Gym：https://github.com/NVIDIA-NeMo/Gym
• Nemotron-3-Ultra 训练指南：https://github.com/NVIDIA-NeMo/RL/blob/ultra-v3/docs/guides/nemotron-3-ultra.md

搜集汇总

数据集介绍

构建方式

为满足大规模语言模型后训练阶段对强化学习数据的高效需求，Nemotron-RL-Ultra-Training-Blends数据集通过混合策略构建而成。该数据集整合了NVIDIA自研数据与多个公开外部数据集，形成七种不同侧重方向的数据子集，包括rlvr1、rlvr2、ifbench、rlhf、reasoning、swe及mopd。每个子集内的样本依据训练课程需求进行排序，从高通过率（简单）向低通过率（困难）过渡，以保障学习过程的渐进性。构建过程采用混合方式，涵盖人工与合成两种收集手段，同时利用自动化标签方法进行标注。特别地，对于引用自第三方数据集的内容，以占位符形式嵌入，用户需通过专用脚本下载原始数据。

特点

该数据集具有鲜明的多任务定向特性，每个子集服务于不同的强化学习训练场景。rlvr1与rlvr2聚焦于智能体对话、工具使用、代码编写及数学推理等广泛能力；ifbench与rlhf则分别强化指令遵循与基于人类反馈的奖励模型训练；reasoning子集专攻多学科推理任务；swe面向软件工程问题求解；mopd实现多教师在线蒸馏。总计包含约33.8万条样本，总容量达17.1GB，各子集以JSONL格式存储，每条记录附带文本与元数据信息。数据集兼容CC BY-SA 4.0、MIT及Apache 2.0等多重开源许可，适合商业与非商业场景。

使用方法

该数据集专为NVIDIA NeMo RL训练框架设计，需结合NeMo Gym智能体框架进行调用。用户应遵循Nemotron-3-Ultra训练指南中的端到端流程，将每个提示与可返回可验证或基于评判者奖励的智能体与环境配对使用。数据以不同配置名称划分，如rlvr1、swe等，可通过Hugging Face Datasets库按需加载。对于含占位符的子集，需运行fill_placeholders.py脚本完成外部数据下载。研究人员可依据目标场景选择单一子集或按课程顺序混合使用，以驱动语言模型在推理、工具调用、安全性等维度的强化学习训练。

背景与挑战

背景概述

Nemotron-RL-Ultra-Training-Blends 数据集由 NVIDIA 公司于 2026 年创建，旨在为大规模语言模型的后训练阶段提供强化学习与多教师在线蒸馏的训练数据混合。该数据集的核心研究问题在于如何通过精心编排的多领域数据混合，提升模型在数学推理、代码生成、指令遵循、安全对齐及软件工程等复杂任务中的泛化能力。作为 Nemotron-3-Ultra 训练食谱的关键组成部分，它融合了 NVIDIA 自研数据集与外部公开资源，依托 NeMo RL 与 NeMo Gym 框架实现可验证奖励的智能体交互。该数据集在推动基于强化学习的大模型后训练方法论上具有重要影响，为研究者提供了系统化的数据配比与课程学习策略。

当前挑战

数据集所解决的领域挑战在于强化学习训练中奖励稀疏性与数据多样性不足的矛盾，例如模型在竞争性编程或软件工程修复等任务中难以获得有效反馈导致收敛困难。构建过程中面临的挑战包括多源异构数据的版权兼容性处理，需在 CC BY-SA 4.0、MIT 等不同许可证下混合使用，并要求用户自行核查合规性。同时，数据混合比例需通过课程学习精确编排，从易到难排序样本以维持学习稳定性，且涉及大型数据集（如 SWE-rebench-V2）的分布式获取与占位符替换技术，对工程实现提出了高要求。

常用场景

经典使用场景

Nemotron-RL-Ultra-Training-Blends数据集的核心应用场景聚焦于大规模语言模型的强化学习后训练阶段。该数据集精心构建了多个子集混合体，用于训练模型在数学推理、代码生成、指令遵循、工具调用、安全性保障以及软件工程任务等多元维度上实现能力跃升。借助NeMo RL框架与NeMo Gym智能体环境，每一组提示都与可验证或基于评判模型的奖励信号配对，从而驱动模型在复杂交互中通过试错学习不断优化策略。这种设计特别适用于需要精细对齐与长链推理的高级语言模型训练流程。

衍生相关工作

围绕该数据集已衍生出多项具有深远影响的开源工具与研究工作。NeMo RL框架作为核心训练基础设施，提供了可复现的后训练流程，使研究者能够轻松加载不同混合子集并配置自适应的课程学习策略。NeMo Gym智能体框架则定义了标准化的提示-环境-奖励接口，极大简化了新评测场景的集成流程。数据集所公布的技术报告详细阐述了混合比例设计原则与课程排序方法，为后续研究提供了可借鉴的数据工程范式。这些衍生工作共同构成了从数据构建、模型训练到评估部署的完整生态闭环，推动了开源大模型RL训练领域的标准化进程。

数据集最近研究

最新研究方向

在强化学习后训练大语言模型的前沿探索中，Nemotron-RL-Ultra-Training-Blends数据集通过多教师同策略蒸馏与可验证奖励机制的深度融合，开创性地整合了数学推理、代码生成、指令遵循及工具调用等多元化复杂任务的数据混合配方。该数据集紧密围绕NVIDIA公布的Nemotron-3-Ultra后训练方案，将多个外部数据集与内部数据按难度逐级拼接，形成了从基础推理到高阶软件工程问题的系统化学习曲线。其设计的子集如rlvr1、swe及reasoning等，不仅涵盖竞争性编程与系统性指令微调，更引入了针对间接提示注入与结构化输出的安全性与鲁棒性训练，呼应了当前AGI对齐与可验证奖励建模的热点议题。该数据集的公开有利于推动开源社区在RLHF与策略蒸馏领域的协作研究，具有重塑大模型推理与行为引导范式的潜在影响。