nemotron-gym-math-v4

laion/nemotron-gym-math-v4 是一个用于智能体任务的数据集，源自 nvidia/Nemotron-RL-Math-v2 并整合了 DAPO-Math-17k 和 Skywork-OR1 指针，属于 nvidia/Nemotron-Post-Training-v3 集合的一部分。该数据集包含 6,534 个任务，数据格式包括两个列：path（字符串类型）和 task_binary（gzip tar 格式），通过 OpenThoughts-Agent 的 data.nemotron_gym 框架转换。数据集适用于文本生成和强化学习任务，特别是与智能体相关的数学问题解决或模拟环境。评估方法基于 sympy/latex oxed{} 的等价性对比黄金标准进行评分。与前一版本相比，此版本修复了终端智能体的答案提交契约，明确指示通过 shell heredoc 将答案写入评分文件路径并验证，以解决答案文件缺失导致的评分问题。数据集标签包括 agent、harbor、reinforcement-learning 和 nemotron，采用 Apache 2.0 许可证。

laion/nemotron-gym-math-v4 is a dataset for agent tasks, derived from nvidia/Nemotron-RL-Math-v2 and integrated with DAPO-Math-17k and Skywork-OR1 pointers, forming part of the nvidia/Nemotron-Post-Training-v3 collection. It contains 6,534 tasks, with data format including two columns: path (string type) and task_binary (gzip tar format), converted via the OpenThoughts-Agents data.nemotron_gym framework. The dataset is suitable for text generation and reinforcement learning tasks, particularly for agent-related mathematical problem solving or simulation environments. Evaluation is based on scoring through equivalence comparison of sympy/latex oxed{} against a gold standard. Compared to the previous version, this release fixes the answer submission contract for terminal agents, explicitly instructing to write answers to the scoring file path via shell heredoc and validate, to address scoring issues caused by missing answer files. Dataset labels include agent, harbor, reinforcement-learning, and nemotron, under the Apache 2.0 license.

原始信息汇总

数据集概述

数据集名称：laion/nemotron-gym-math-v4

许可证：Apache-2.0

任务类别：文本生成（text-generation）

标签：agent, harbor, reinforcement-learning, nemotron

规模：6,534 个任务（Harbor task-binary 格式）

来源与构建：从 nvidia/Nemotron-RL-Math-v2 转换而来，并合并了 hydrated DAPO-Math-17k / Skywork-OR1 pointers（属于 nvidia/Nemotron-Post-Training-v3 系列）。转换过程使用 OpenThoughts-Agent 的 data.nemotron_gym 框架，数据包含两列：path（字符串类型）和 task_binary（gzip tar 格式）。

评分方式：基于 sympy/latex 的 oxed{} 等价性评估，与标准答案（gold）进行比较。

版本变更说明（v4 相比前序版本）

• 核心改进：修复了终端智能体的 答案提交协议。
• 问题背景：前序版本仅告诉智能体 输出什么内容，但未明确 如何提交。导致 1 回合的 terminus-2 智能体将答案以聊天回复的形式输出，而非写入评分文件，多数试次因“答案文件缺失”得分为 0。
• 改进措施：新版本指令明确要求智能体通过 shell heredoc 将答案写入评分器的文件路径，并执行验证，确保答案文件正确写入。评分逻辑本身未作改变。

搜集汇总

数据集介绍

构建方式

在强化学习与数学推理相结合的研究背景下，nemotron-gym-math-v4数据集由NVIDIA的Nemotron-RL-Math-v2数据集经精细化转换而来，同时融合了hydrated DAPO-Math-17k与Skywork-OR1指针数据。该数据集采用Harbor任务二进制框架，以gzip tar格式存储task_binary列，通过OpenThoughts-Agent框架的data.nemotron_gym模块完成格式转化，共包含6,534项任务，确保数据构建的标准化与可复现性。

使用方法

数据集适用于文本生成任务，尤其面向基于强化学习的数学推理场景。用户可直接加载Harbor任务二进制数据，结合OpenThoughts-Agent框架进行智能体训练与评测。使用时需关注任务路径列与二进制列的配对关系，并依据默认的sympy/LaTeX评分规则评估模型输出。建议在应用前参考NVIDIA Nemotron后训练模型系列的相关文档，以充分理解任务激励结构与终端交互协议。

背景与挑战

背景概述

该数据集由LAION社区与NVIDIA团队联合构建，发布于2025年，核心源于NVIDIA的Nemotron-RL-Math-v2数据集，并整合了DAPO-Math-17k与Skywork-OR1等强化学习数学推理资源。作为Nemotron-Post-Training-v3系列的一部分，该数据集聚焦于通过强化学习范式提升大语言模型的数学推理能力，包含6534个二元任务，每个任务以符号计算（sympy/latex）的盒子答案等价性作为评分标准。其影响力体现在为数学推理领域的智能体训练提供了标准化、可复现的评估框架，推动了从静态数据集向交互式智能体环境的范式转变。

当前挑战

数据集面临的挑战主要体现在两层面。领域层面，大语言模型在数学推理中常出现符号表达歧义与答案交付协议断裂问题，导致模型虽理解问题却无法正确提交结果。构建层面，早期版本因终端智能体未明确知晓如何输出答案（如应写入评分文件而非作为聊天回复），导致多数试验因“答案文件缺失”得零分。此外，将异构数学问题（如来自不同来源的RL数据）统一为二元任务格式，并保证评分逻辑的跨源一致性，也是构建中的技术难点。

常用场景

经典使用场景

nemotron-gym-math-v4数据集在数学推理与强化学习的交叉领域中扮演着关键角色。它源自NVIDIA的Nemotron-RL-Math-v2，并整合了DAPO-Math-17k与Skywork-OR1的数据指针，构建了一个包含6,534个任务的二元任务环境。该数据集专为训练终端智能体而设计，通过sympy/latex的boxed等价性校验进行评分，极大地推动了将复杂数学问题转化为可执行决策序列的研究范式。其核心使用场景在于为强化学习智能体提供结构化的数学任务模拟器，使智能体能够通过与环境交互习得步骤化求解策略，从而提升在数学问题上的逻辑推理与答案输出能力。

解决学术问题

该数据集精准回应了数学推理任务中智能体答案提交机制不完善的学术痛点。早期版本中，终端智能体常因未遵守标准输出格式而导致评分失败，如将答案以对话回复形式呈现而非写入指定文件，使得大量试验因'答案文件缺失'而为零分。nemotron-gym-math-v4通过显式定义'答案交付合约'，要求智能体使用shell heredoc写入评分文件并验证，从根本上解决了智能体输出与评估系统之间的语义鸿沟问题。这一改进不仅提升了数学推理任务的实验复现性与评分可靠性，更为多步推理场景下的强化学习训练提供了可量化的评估基准，推动了智能体对齐理论与应用的发展。

实际应用

在实际应用中，nemotron-gym-math-v4可用于训练能够自主解决高阶数学题的智能助手，例如为在线教育平台提供实时数学解题引擎，或嵌入科研工具中辅助复杂公式推导。其构建的强化学习环境使得智能体能够端到端地学会将自然语言描述的数学问题转化为结构化的符号表达式，并输出标准化的结果。此外，该数据集还支持智慧课堂中的自适应学习系统，通过模拟不同难度级别的数学任务，帮助教育模型在交互式对话中逐步提升学生的解题能力，从而在个性化教学与智能辅导领域展现出巨大的应用潜力。

数据集最近研究

最新研究方向

当前，nemotron-gym-math-v4数据集在强化学习与数学推理交叉领域的前沿探索中扮演着关键角色，其核心突破在于优化终端代理的答案交付协议，解决了此前因指令不明确导致智能体仅以聊天回复形式输出答案而无法被有效评分的问题。该数据集通过引入显式的文件写入指令（如shell heredoc）与验证机制，显著提升了自动化数学推理任务的评估可靠性。这一改进紧密关联到基于大型语言模型的自博弈强化学习方法（如DAPO-Math）的发展，推动了数学推理智能体从生成式讨论向结构化任务执行的范式转变，为构建更鲁棒的数学推理评测基准提供了重要参考，并对自动化科学发现与教育领域的智能辅导系统具有深远影响。