nemotron-gym-multichallenge-vanilla-v2

该数据集名为laion/nemotron-gym-multichallenge-vanilla-v2，是一个Harbor任务二进制数据集，包含1,050个任务。它源自nvidia/Nemotron-RL-Multichallenge-v1（vanilla版本），属于nvidia/Nemotron-Post-Training-v3集合的一部分，并通过OpenThoughts-Agent的data.nemotron_gym框架进行转换。数据集包含两列：path（字符串类型，表示路径）和task_binary（gzip tar格式，存储任务二进制数据）。该数据集适用于文本生成任务，特别是与智能体（agent）和强化学习（reinforcement-learning）相关的场景。评估采用Rubric LLM judge对所有标准进行评分，需要提供OPENAI_API_KEY。相比前一版本，此版本修复了终端智能体的答案交付契约，明确指示如何通过shell heredoc将答案写入评分文件路径并验证，从而解决了之前版本中因答案文件缺失导致评分失败的问题，但评分逻辑保持不变。

This dataset is named laion/nemotron-gym-multichallenge-vanilla-v2, a Harbor task binary dataset consisting of 1,050 tasks. It is derived from nvidia/Nemotron-RL-Multichallenge-v1 (vanilla version), and is part of the nvidia/Nemotron-Post-Training-v3 collection, converted via the data.nemotron_gym framework of OpenThoughts-Agent. The dataset contains two columns: "path" (string type, representing the file path) and "task_binary" (stored in gzip tar format, which holds task binary data). This dataset is suitable for text generation tasks, especially scenarios related to AI agents and reinforcement learning. Evaluation is conducted using the Rubric LLM judge to score all criteria, and the OPENAI_API_KEY is required for the evaluation process. Compared to the prior version, this iteration fixes the answer delivery contract for terminal agents, explicitly instructing how to write answers to the designated scoring file path via shell heredoc and perform verification, thereby resolving the scoring failure issue caused by missing answer files in earlier versions, while the scoring logic remains unchanged.

原始信息汇总

数据集名称

laion/nemotron-gym-multichallenge-vanilla-v2

数据集来源

该数据集由 nvidia/Nemotron-RL-Multichallenge-v1 [vanilla] 转换而来，是 nvidia/Nemotron-Post-Training-v3 集合的一部分。

数据集规模

共包含 1,050 个任务，属于 Harbor task-binary 数据集类型。

数据格式

数据集包含两列：

• path（字符串类型）
• task_binary（gzip 压缩的 tar 归档文件）

转换框架

使用 OpenThoughts-Agent 框架中的 data.nemotron_gym 工具进行转换。

评估方式

采用 Rubric LLM judge 作为评分标准，覆盖所有评判维度。评估时需要提供 OPENAI_API_KEY。

版本变更说明（相较于 v1）

• 修复了终端智能体的 答案提交协议 问题。
• 此前版本仅告知智能体要生成什么内容，未说明如何提交；导致 terminus-2 型 1 轮智能体将答案以聊天回复形式输出，而非写入指定评分文件，造成多数试验因“答案文件缺失”而得 0 分。
• 新版本明确要求：通过 shell heredoc 将答案写入评分器指定的文件路径，并进行验证。
• 评分逻辑本身未做其他更改。

许可证

Apache-2.0

任务类型

文本生成（text-generation）

标签

agent / harbor / reinforcement-learning / nemotron

搜集汇总

数据集介绍

构建方式

该数据集源自nvidia/Nemotron-RL-Multichallenge-v1的原始版本，经由OpenThoughts-Agent框架内的data.nemotron_gym模块进行格式转换与迁移。原始数据集中的任务以二进制形式压缩存储为gzip tar文件，并配有路径字符串标识，最终构建为一个包含1,050个任务的Harbor任务二元数据集。转换过程确保了数据的完整性与可复现性，为后续强化学习与智能体训练提供了标准化接口。

特点

本数据集的一大亮点在于修复了先前版本中终端智能体的答案交付协议缺陷。原始版本仅告知模型应输出何种结果，却未规范其提交方式，导致单轮terminus-2智能体常以聊天回复形式作答，而非将结果写入待评分文件，引发大量零分记录。新版本通过shell heredoc方式明确指示智能体将答案写入评分器指定的文件路径，并要求执行验证操作，显著提升了任务执行的准确性与一致性。

使用方法

数据集支持文本生成任务，适用于强化学习与智能体训练场景。使用时需调用数据集中的path列和task_binary列，前者提供任务路径标识，后者包含压缩的任务二进制数据。评估环节采用基于LLM的评分器，参照完整评测量规对智能体输出进行自动打分。运行评估实验需在环境中配置OPENAI_API_KEY，以便调用大语言模型完成判分流程。

背景与挑战

背景概述

该数据集名为nemotron-gym-multichallenge-vanilla-v2，由LAION团队于NVIDIA发布的Nemotron-RL-Multichallenge-v1 [vanilla]基础上转换而来，属于NVIDIA Nemotron-Post-Training-v3系列的一部分。其核心研究问题聚焦于强化学习智能体在复杂任务（如终端代理交互）中的决策与执行能力，旨在通过1050个二元任务评估智能体的多步推理与工具使用技能。作为开源数据集，它对多智能体强化学习、自动化任务分配及大语言模型后训练领域具有重要影响，为社区提供了一个标准化的评估基准，推动了从简单指令遵循到复杂环境适应的研究进展。

当前挑战

该数据集主要解决的领域挑战在于强化学习智能体在真实环境中的鲁棒性和指令遵循能力，尤其是终端代理需处理非结构化输出与格式化提交的冲突。先前版本存在严重缺陷：智能体常以聊天回复提交答案而非写入指定文件，导致评估失败。构建过程中，团队面临如何设计明确且可执行的‘答案交付合约’的挑战，即需在不改变评分逻辑的前提下，通过精确指令（如shell heredoc写入并验证文件）强制智能体行为规范化。这要求数据集提供兼顾灵活性与约束性的任务描述，以消除歧义并提升评估可靠性。

常用场景

经典使用场景

该数据集源于NVIDIA的Nemotron-RL-Multichallenge-v1，经精心转换后形成包含1,050个任务的Harbor任务二元数据集，专为强化学习环境下的智能体训练而设计。在经典使用场景中，研究者利用其丰富的任务集合来评估和提升智能体在多步推理、终端交互和文件操作等复杂指令遵循方面的能力。每个任务以路径与任务二进制文件的形式封装，配合基于Rubric的大语言模型评判机制，为文本生成模型的微调与强化学习提供了标准化、可复现的训练与评估框架。

衍生相关工作

该数据集衍生出多项经典工作，其中OpenThoughts-Agent框架下的数据转换与处理流程成为后续研究的基石。研究者基于此数据集开发了改进的智能体训练策略，如引入奖励塑形与分阶段课程学习，以增强模型在终端任务中的泛化能力。此外，围绕该数据集还涌现出针对指令解释歧义性、多回合用户意图保持等核心问题的评测基准与算法改进，推动了面向终端交互的强化学习与大型语言模型对齐技术的持续演进。

数据集最近研究

最新研究方向

该数据集聚焦于通过强化学习优化终端智能体的指令遵循能力，其核心创新在于修复了先前版本中智能体与评分机制之间的“答案交付契约”缺陷。通过引入shell heredoc文件写入指令及验证机制，显著提升了多步骤推理环境中任务完成的可靠性与评分一致性。这一改进直接回应了当前智能体研究中普遍存在的动作-反馈循环断裂问题，为构建更鲁棒的自主决策系统提供了关键数据基础。结合Nemotron框架的post-training生态，该工作推动了强化学习在复杂终端操作任务中的实际落地，尤其在需要精确行为约束的工业级Agent应用中具有范式意义。