nvidia/Nemotron-Cascade-RL-Math

Nemotron-Cascade-RL-Math是一个专注于数学推理的多样化高质量数据集，包含14,476个数学问题和简短答案。数据集整合了来自OpenMathReasoning、NuminaMath-CoT、DeepScaleR和AceReason-Math的数据源，并进行了数据去污染处理，过滤了与数学基准测试中任何测试样本有9-gram重叠的样本。具体数据来源统计如下：NuminaMath-CoT提供11,217个问题，DeepScaleR提供1,578个问题，AceReason-Math提供1,257个问题，OpenMathReasoning提供424个问题。该数据集专门用于训练专注于数学推理的强化学习模型。

Nemotron-Cascade-RL-Math is a diverse and high-quality dataset focused on math reasoning. It contains 14,476 math problems and short answers, covering the data sources from OpenMathReasoning, NuminaMath-CoT, DeepScaleR, and AceReason-Math. The dataset has undergone data decontamination and filters samples that have a 9-gram overlap with any test sample in math benchmarks. The statistics for the data sources are as follows: NuminaMath-CoT provides 11,217 questions, DeepScaleR provides 1,578 questions, AceReason-Math provides 1,257 questions, and OpenMathReasoning provides 424 questions. This dataset is specifically designed for training RL models focused on math reasoning.

搜集汇总

数据集介绍

构建方式

Nemotron-Cascade-RL-Math 数据集聚焦于数学推理领域，旨在为强化学习模型提供高质量的训练数据。该数据集由14,476道数学问题及其简短答案构成，其数据来源涵盖了四个公开的数学推理数据集，包括OpenMathReasoning、NuminaMath-CoT、DeepScaleR以及AceReason-Math。在构建过程中，研究团队执行了严格的数据去污染处理，通过检测与数学基准测试集中任何样本存在9-gram重叠的方式，筛除了潜在的污染样本，从而确保了数据集的纯净性与可靠性。

特点

该数据集的核心特点在于其多样性与高质量。从数据分布来看，NuminaMath-CoT贡献了最多的样本（11,217道），而DeepScaleR、AceReason-Math和OpenMathReasoning则提供了不同规模的补充，形成了层次丰富的问题集合。数据集专注于数学推理场景，不包含任何通用领域或非推理样本，这使其成为专门用于训练数学推理强化学习模型的理想资源。此外，数据去污染机制的引入进一步提升了数据集的基准测试可信度。

使用方法

Nemotron-Cascade-RL-Math 数据集专为强化学习模型在数学推理任务上的训练而设计。使用者可利用该数据集中的问题和答案对，构建奖励模型或直接进行策略优化，以提升模型在数学问题求解中的推理能力。数据集以标准的文本格式提供，兼容HuggingFace的transformers库，便于加载与集成到现有的训练流程中。建议开发者结合自身模型架构与训练目标，将该数据集作为数学推理强化学习管道中的核心数据源使用。

背景与挑战

背景概述

在数学推理领域，强化学习（RL）与大型语言模型的结合正逐步成为提升模型逻辑推理能力的关键范式。由NVIDIA研究团队于2025年12月发布的Nemotron-Cascade-RL-Math数据集，正是为了支撑其提出的级联强化学习框架Nemotron-Cascade而精心构建的。该数据集汇聚了来自OpenMathReasoning、NuminaMath-CoT、DeepScaleR及AceReason-Math四大来源的共计14,476道数学问题与简短答案，覆盖了从基础运算到复杂推理的广泛题型。通过严格的去污染处理，剔除了与数学基准测试存在9-gram重叠的样本，确保了数据的高质量与纯净性。这一数据集的推出，为专门聚焦数学推理的强化学习模型训练提供了坚实的资源基础，推动了将强化学习应用于数学逻辑推导这一前沿研究方向的发展。

当前挑战

该数据集所面临的挑战主要体现在两个层面。首先，在领域问题层面，数学推理任务本身具有高度抽象性与逻辑严密性，模型需要从有限的问题描述中提取关键信息并完成多步推导，这对强化学习算法的泛化能力与符号理解提出了极高要求。其次，在构建过程中，数据收集与清洗面临显著困难：尽管融合了四个现有数据集，但各来源的格式、难度分布与噪声水平各异，需进行统一标准化处理；去污染流程中，仅依靠9-gram重叠检测可能无法完全消除与测试集之间的语义相似性，存在潜在的评估偏差风险。此外，数据量仅覆盖一万余道题目，对于训练具备通用推理能力的模型而言，规模仍显不足，可能限制模型在未见题型上的表现。

常用场景

经典使用场景

在数学推理与强化学习交叉的研究领域中，Nemotron-Cascade-RL-Math数据集专门被设计用于训练和评估基于强化学习的数学推理模型。该数据集汇聚了来自OpenMathReasoning、NuminaMath-CoT、DeepScaleR和AceReason-Math等多个优质来源的14,476道数学问题及其简短答案，经过严格的数据去污染处理，确保与常见数学基准测试样本无9-gram重叠。其最经典的使用场景是作为Nemotron-Cascade系列模型在数学推理任务上的强化学习训练数据，通过提供多样化的数学问题，促使模型在推理过程中学习策略优化与奖励最大化。

解决学术问题

该数据集有效解决了数学推理领域中强化学习训练数据稀缺与质量参差的学术难题。传统数学数据集往往侧重于监督学习范式，缺乏专门针对强化学习场景设计的、包含短答案反馈的高质量样本。Nemotron-Cascade-RL-Math通过整合多个权威来源并进行精细过滤，为研究者提供了一个干净、多样且专注于数学推理的强化学习训练集。这推动了将强化学习应用于复杂数学推理问题的研究进程，使得模型能够通过试错与奖励信号逐步提升逻辑推导与数值计算能力，进而促进了对可解释、可泛化的数学推理智能体的探索。

衍生相关工作

Nemotron-Cascade-RL-Math数据集直接支撑了Nemotron-Cascade系列模型的开发，该系列工作提出了级联强化学习框架，用于通用推理模型的规模化训练。此外，该数据集所整合的OpenMathReasoning、NuminaMath-CoT、DeepScaleR和AceReason-Math等源数据集，各自代表了数学推理领域的不同研究路径，如思维链推理、可扩展强化学习数据生成等。这些工作共同推动了数学推理与强化学习融合的研究方向，衍生出关于数据去污染方法、奖励函数设计以及多源数据融合策略的后续探索，形成了从数据构建到模型训练再到评估的完整研究链条。