Nemotron-RL-Math-v2

Nemotron-RL-Math-v2是一个专为强化学习训练设计的精选数学问题数据集，特别适用于可验证奖励的强化学习（RLVR）工作流。该数据集整合了来自多个来源的数学问题：AoPS（美国数学竞赛问题）、从Nemotron-SFT-Math-v4 SFT集中保留的StackExchange衍生数学问题、Skywork/Skywork-OR1-RL-Data公共RL数据集、BytedTsinghua-SIA/DAPO-Math-17k公共数学RL数据集以及供应商购买的数据。数据集包含7,732个训练样本，采用JSONL格式，每个样本包含以下字段：唯一标识符（uuid）、用于RL训练的问题陈述（question）、经过验证的目标答案（expected_answer）、包含用户提示的Responses API风格请求参数（responses_create_params）、用于答案检查的智能体配置（agent_ref）、验证器类型（verifier_type）以及部分记录中存在的内部占位符字段（_hf_question_placeholder）。所有问题和预期答案均使用GPT-5.2模型进行正确性验证。数据集适用于以下场景：大型语言模型在可验证数学推理任务上的强化学习、需要带答案验证的精选数学问题的RLVR实验、研究相对于监督微调数据集的数学泛化能力、构建从易到难的课程式RL训练集，以及评估数学推理系统的答案验证和鲁棒性。数据集采用CC BY 4.0许可证，并兼容商业和非商业用途。

原始信息汇总

数据集名称

Nemotron-RL-Math-v2

数据集描述

Nemotron-RL-Math-v2 是一个精心策划的小型数学问题集合，专为强化学习（Reinforcement Learning, RL）设计。该数据集适用于可验证答案或具有其他验证信号的 RL 训练工作流，特别适合基于可验证奖励的强化学习（Reinforcement Learning from Verifiable Rewards, RLVR）。

数据集所有者

NVIDIA Corporation

创建与修改日期

• 创建日期：2026年5月1日
• 最后修改日期：2026年5月1日

版本

• 当前版本：Nemotron-RL-Math-v2
• 先前版本：https://huggingface.co/datasets/nvidia/Nemotron-RL-Super-Training-Blends
• 与前版关系：本数据集是先前发布数据集的直接替代品。

许可协议

• 主许可：Creative Commons Attribution 4.0 International (CC BY 4.0)
• 附加信息：Apache 2.0 License；MIT License；BSD-3 License

预期用途

• 对大型语言模型（LLM）进行可验证数学推理任务的强化学习
• 需要带有答案验证的策划数学问题的 RLVR 实验
• 研究相对于监督微调数据集的留出数学泛化能力
• 构建从易到难数学问题的课程式 RL 训练集
• 评估数学推理系统的答案验证能力和鲁棒性

数据集特征

组成与生成

问题来源

数据集综合了以下来源的策划子集：

• 来自 AoPS（https://artofproblemsolving.com/）的数学问题
• 来自 StackExchange（https://math.stackexchange.com/）的数学问题，这些数据从 Nemotron-SFT-Math-v4 SFT 集中留出
• Skywork/Skywork-OR1-RL-Data（https://huggingface.co/datasets/Skywork/Skywork-OR1-RL-Data）：包含可验证数学和编程问题的公共 RL 数据集
• BytedTsinghua-SIA/DAPO-Math-17k（https://huggingface.co/datasets/BytedTsinghua-SIA/DAPO-Math-17k）：包含提示和可验证答案的公共数学 RL 数据集
• 供应商购买的数据

策划与过滤

问题根据 RL 适用性进行筛选，重点在于可验证性、数学主题覆盖范围以及与 SFT 训练集的分离。所有问题和预期答案均经过 GPT-5.2 模型验证以确保正确性。

数据集字段

数据集包含以下字段：

• uuid：样本的唯一标识符
• question：用于 RL 训练的题目描述
• expected_answer：经过验证的样本目标答案
• responses_create_params：包含用户提示的Responses API风格请求参数
• agent_ref：用于答案检查的智能体配置
• verifier_type：样本使用的验证器类型
• _hf_question_placeholder：部分记录包含的内部占位符字段

数据收集方法

混合方式：人工、合成、自动化、供应商购买

标注方法

混合方式：人工、合成、自动化

数据集格式

• 模态： 文本
• 格式： JSONL
• 结构： JSONL 记录，包含问题提示、验证答案、Responses API 风格请求参数、验证器配置，以及用于重建掩码公共来源行的占位符元数据（如适用）

数据量化

• 子集样本（训练集）：7,732 条
• 总磁盘空间：6,873,775 字节

恢复掩码行

包含掩码占位符的行可通过本仓库附带的 fill_placeholders.py 脚本重建。使用方式：

1. 创建 masked 和 restored 目录
2. 将 data/train.jsonl 复制到 masked/train.jsonl
3. 安装依赖：python -m pip install "datasets>=2.19.0"
4. 运行脚本：python fill_placeholders.py --input-dir masked --output-dir restored 脚本会从 BytedTsinghua-SIA/DAPO-Math-17k 和 Skywork/Skywork-OR1-RL-Data 下载源行，填充 question 和 expected_answer，更新 responses_create_params.input[0].content，并将恢复后的 JSONL 文件写入输出目录。

参考来源

• https://huggingface.co/datasets/nvidia/Nemotron-RL-Super-Training-Blends
• https://huggingface.co/datasets/Skywork/Skywork-OR1-RL-Data
• https://huggingface.co/datasets/BytedTsinghua-SIA/DAPO-Math-17k
• https://huggingface.co/datasets/nvidia/Nemotron-SFT-Math-v3
• https://github.com/NVIDIA-NeMo/Gym
• https://github.com/NVIDIA-NeMo/RL/blob/super-v3/docs/guides/nemotron-3-super.md

伦理考量

NVIDIA 认为可信赖的 AI 是共同责任，并已制定政策和实践以支持多种 AI 应用的开发。开发者应与其内部开发团队合作，确保本数据集满足相关行业和用例的需求，并解决潜在的误用问题。质量、风险、安全漏洞或 NVIDIA AI 相关问题可在此处报告：https://www.nvidia.com/en-us/support/submit-security-vulnerability/

搜集汇总

数据集介绍

构建方式

在强化学习与数学推理领域，高质量且答案可验证的问题数据对于模型训练至关重要。Nemotron-RL-Math-v2数据集由NVIDIA精心构建，其数据来源于AoPS、StackExchange（源自Nemotron-SFT-Math-v4 SFT集）、Skywork/Skywork-OR1-RL-Data、BytedTsinghua-SIA/DAPO-Math-17k以及供应商采购数据。所有问题和预期答案均经过GPT-5.2模型严格校验以确保正确性。针对包含掩码占位符的行，数据集提供了配套的`fill_placeholders.py`脚本，通过自动下载原始来源数据并填充字段，可完整还原被遮蔽的行记录。

使用方法

该数据集的使用方式简洁明了，适用于多种强化学习工作流。用户可直接加载JSONL格式的train split文件进行模型训练。对于包含掩码占位符的样本，需先执行`fill_placeholders.py`脚本，指定输入输出目录以恢复完整数据。数据集特别适用于大型语言模型在可验证数学推理任务上的强化学习训练，RLVR实验，以及构建从易到难的课程式强化学习训练集，从而有效提升模型在数学推理领域的性能与鲁棒性。

背景与挑战

背景概述

在大型语言模型（LLM）的数学推理能力优化进程中，基于可验证奖励的强化学习（RLVR）范式逐渐崭露头角，其核心在于构建包含精确答案与验证信号的训练数据集。NVIDIA于2026年5月发布的Nemotron-RL-Math-v2数据集，正是面向这一需求精心打造的小规模精选数学问题集。该数据集由NVIDIA主导构建，汇聚了来自AoPS、StackExchange、Skywork/Skywork-OR1-Data、BytedTsinghua-SIA/DAPO-Math-17k及商业采购的数学问题，并通过GPT-5.2模型对每个问题和预期答案进行了正确性验证，确保了数据的高质量与可靠性。作为Nemotron-RL-Super-Training-Blends的直系替代，该数据集旨在服务RLVR实验、掌握验证性数学推理的LLM训练、以及研究相对于监督微调数据集的预留数学泛化能力，为构建从易到难的课程式强化学习训练集奠定了坚实基础。

当前挑战

该数据集所解决的领域挑战聚焦于数学推理强化学习中奖励信号的可验证性与数据稀缺性问题。传统强化学习在数学领域面临奖励函数设计困难、反馈稀疏等问题，而RLVR范式依赖具备明确答案的题目来提供精准验证信号，但此前公开的高质量、多样化且答案可验证的数学问题集十分匮乏。在数据集构建过程中，团队需克服数据源异构性带来的融合困难，例如从AoPS、StackExchange等不同来源提取的题目格式与难度参差，需经严格筛选与对齐；同时，为确保数据集的独立性与泛化评估价值，必须保留与Nemotron-SFT-Math-v4等监督微调数据集不重叠的预留样本，防止过拟合。此外，部分源数据中存在掩码占位符，需开发配套的补全脚本以恢复原始问题与答案，且所有条目均需经过GPT-5.2的逐一验证，以保证量级虽小但质量精悍。

常用场景

经典使用场景

Nemotron-RL-Math-v2 数据集专为基于可验证奖励的强化学习（RLVR）范式而设计，其核心应用场景在于训练大语言模型解决数学推理问题。该数据集包含从 AoPS、StackExchange 等权威平台精选的 7,732 道数学题，每道题均附带经过 GPT-5.2 模型验证的标准答案。研究者可将其用于策略梯度或近端策略优化等强化学习算法中，通过奖励信号对模型的推理步骤进行优化，从而显著提升模型在数学证明、代数运算、几何推导等任务上的准确度与泛化能力。该数据集特别强调问题答案的可验证性，为 RL 训练提供了可靠的反馈机制，是数学推理能力强化训练的标杆资源。

解决学术问题

在数学推理领域，大语言模型常面临推理步骤不可控、答案准确性低以及泛化能力不足等核心挑战。Nemotron-RL-Math-v2 通过提供精标注且可验证的数学问题集，使得研究者能够系统性地研究强化学习对模型推理能力的提升效果。该数据集解决了长期困扰学界的两个关键问题：一是如何有效分离监督微调与强化学习阶段的数据分布，以避免过拟合；二是如何利用可验证奖励信号替代人类偏好标注，从而降低人工成本并提升训练效率。它的出现推动了奖励建模技术和值函数估计方法的改进，为构建稳健的数学推理系统奠定了实验基础。

实际应用

在实际应用层面，Nemotron-RL-Math-v2 可被直接整合到智能教育平台的自动解题系统中，用于训练能够逐步推理解答数学问题的 AI 辅导助手。在金融风控场景中，利用该数据集训练的模型能够对复杂计算规则进行逻辑校验，提升合规性检查的可靠性。此外，在科学计算领域，该数据集有助于开发具有严谨推理能力的代码生成模型，使其能够生成数学公式或数值模拟脚本，并自行验证输出结果的正确性。这些应用场景均得益于数据集对可验证奖励信号的强调，实现了从学术研究到工业部署的无缝衔接。

数据集最近研究

最新研究方向

Nemotron-RL-Math-v2聚焦于利用可验证奖励的强化学习（RLVR）范式，探索大语言模型在数学推理能力上的训练与优化。当前前沿方向聚焦于构建高质量、经过严格验证的数学问题集，结合GPT等尖端模型进行答案正确性校验，以提升模型在复杂数学推理任务中的泛化能力与鲁棒性。该数据集与AoPS、StackExchange等权威社区及Skywork、DAPO等公开RL数据集协同，着力于解决强化学习训练中奖励信号稀疏与验证困难的核心挑战，在SFT数据集中引入留出策略，保障泛化性能评估的公正性。其影响深远，不仅推进了LLM在数学推理领域的技术边界，还为构建可信赖、可验证的AI系统提供了重要数据基础，契合当前对AI可解释性和安全性日益增长的需求。