nemotron-gym-agentic-conversational-tool-use-pivot-v2

该数据集是从nvidia/Nemotron-RL-Agentic-Conversational-Tool-Use-Pivot-v1转换而来的Harbor任务二进制数据集，包含96,965个任务，属于nvidia/Nemotron-Post-Training-v3集合的一部分。数据集包含两列：path（字符串类型）和task_binary（gzip tar格式），使用OpenThoughts-Agent的data.nemotron_gym框架进行转换。该数据集主要用于评估代理在对话式工具使用场景下的表现，采用单步评估机制，结合工具调用匹配（function_call）和大型语言模型（LLM）消息评判。与前一版本相比，本版本修复了终端代理的答案交付契约问题，明确指示代理通过shell heredoc将答案写入指定的评分器文件路径并验证写入操作，从而解决了之前版本中因答案提交方式不明确导致的评分问题。该数据集适用于强化学习、代理系统开发和对话式工具使用等研究任务。This dataset is a Harbor task binary dataset converted from nvidia/Nemotron-RL-Agentic-Conversational-Tool-Use-Pivot-v1, comprising 96,965 tasks and part of the nvidia/Nemotron-Post-Training-v3 collection. The dataset contains two columns: path (string type) and task_binary (gzip tar format), transformed using the data.nemotron_gym framework from OpenThoughts-Agent. It is primarily used to evaluate agent performance in conversational tool usage scenarios, employing a single-step evaluation mechanism that combines tool call matching (function_call) and large language model (LLM) message judgment. Compared to the previous version, this version fixes the terminal agents answer delivery contract issue by explicitly instructing the agent to write answers to a specified scorer file path via shell heredoc and verifying the write operation, thereby resolving scoring problems caused by unclear answer submission methods in earlier versions. The dataset is suitable for research tasks such as reinforcement learning, agent system development, and conversational tool usage.

原始信息汇总

数据集概述

数据集名称：laion/nemotron-gym-agentic-conversational-tool-use-pivot-v2

许可证：Apache-2.0

任务类别：文本生成（text-generation）

标签：agent、harbor、reinforcement-learning、nemotron

数据规模：96,965 个任务（Harbor task-binary 格式）

数据来源：基于 nvidia/Nemotron-RL-Agentic-Conversational-Tool-Use-Pivot-v1 转换而来，该数据集是 nvidia/Nemotron-Post-Training-v3 集合的一部分。

数据列：

• path（字符串）
• task_binary（gzip tar 压缩包）

转换框架：使用 OpenThoughts-Agent 的 data.nemotron_gym 框架进行转换。

评分机制：

• 单步评分（Single-step）
• 工具调用匹配（function_call）
• LLM 评判（message）

版本更新说明

与前一版本（v1）相比，本版本（v2）主要解决了终端智能体的答案交付契约问题。

• 问题描述：旧版本仅告知智能体需要生成什么，但未说明如何提交；导致 1 轮 terminus-2 智能体将答案以聊天回复形式输出，而非写入评分文件，使得大多数试验因“答案文件缺失”而得零分。
• 解决方案：新版本明确要求智能体通过 shell heredoc 方式将答案写入评分器的文件路径，并进行验证。评分逻辑本身未作变更。

搜集汇总

数据集介绍

构建方式

该数据集源自NVIDIA发布的Nemotron-RL-Agentic-Conversational-Tool-Use-Pivot-v1，经由OpenThoughts-Agent框架中的data.nemotron_gym模块进行转换，生成了包含96,965个任务的二元任务数据集。数据的核心结构包括‘path’字符串列与‘task_binary’压缩归档列，以gzip tar格式存储，确保了数据的紧凑性与可迁移性。构建过程严格遵循Harbor任务规范，旨在为智能体强化学习提供标准化的训练样本。

特点

数据集的一大特色在于其针对终端智能体的‘答案交付契约’进行了修复。相较于前一版本，当前版本明确指示智能体通过shell heredoc方式将答案写入评分器的文件路径，并加以验证，从而解决了因智能体以聊天回复形式输出答案而导致评分缺失的问题。此外，评分机制采用两步走策略：对于单步工具调用，依据函数调用的匹配程度评估；对于消息形式，则借助LLM评判器进行判定。

使用方法

使用该数据集时，用户需将其加载至支持Harbor任务二元数据格式的框架中，例如OpenThoughts-Agent。数据可直接用于强化学习训练，特别是针对具有对话与工具使用能力的智能体。训练过程中，智能体需遵循明确的答案提交规范，即通过写入指定文件路径来传递最终结果，而非依赖聊天界面。建议结合NVIDIA的Nemotron后训练套件（版本v3）实现最佳效果。

背景与挑战

背景概述

在人工智能领域，强化学习与智能体系统的融合正逐步成为推动通用人工智能发展的关键路径。由NVIDIA主导研发的nemotron-gym-agentic-conversational-tool-use-pivot-v2数据集，源于其发布的Nemotron-Post-Training-v3系列，旨在为智能体工具调用场景下的强化学习训练提供高质量的任务数据。该数据集由LAION等机构合作转化为Harbor任务二进制格式，包含96,965个任务，聚焦于多轮对话中智能体如何准确执行工具调用并交付最终答案。作为首个系统性地解决终端智能体“答案交付合约”问题的基准数据集，它显著提升了模型在交互式任务中的鲁棒性与实用性，为后续智能体训练与评估奠定了重要基础。

当前挑战

该数据集的核心挑战涵盖以下方面：首先，在领域问题层面，现有智能体模型常因缺乏明确的输出规范导致答案交付失败，例如终端智能体将答案以聊天回复形式输出而非写入指定文件，使得评分机制无法准确捕捉其正确性。本数据集通过引入显式的答案交付指令（如shell heredoc写入与验证步骤）解决了这一根本性问题。其次，在数据集构建过程中，如何将原始交互式工具使用数据高效转换为Harbor任务二进制格式，并确保每项任务的评分逻辑（单步工具调用匹配与LLM裁判评估）与新的交付合约严格对齐，构成技术上的主要挑战。最终版本通过修正指令与验证逻辑，使模型能更可靠地遵从环境合约，从而提升训练效果与评估可信度。

常用场景

经典使用场景

在智能体与工具交互的强化学习训练中，nemotron-gym-agentic-conversational-tool-use-pivot-v2数据集被广泛用于构建多轮对话中的工具调用基准。其核心设计围绕终端智能体的行为规范，通过近十万条任务二进制数据，为语言模型提供了从指令解析到工具执行的完整闭环训练素材。研究者可基于该数据集评估模型在单步工具调用匹配、多步推理以及终端文件写入等复杂场景下的表现，尤其适用于需要精确遵循操作合同的任务编排实验。

解决学术问题

该数据集针对语言模型在终端环境中存在的指令执行模糊性问题提供了解决方案。此前版本中，智能体常因不理解提交答案的正确方式而导致评分归零，新版通过明确写入文件路径并验证的指令合同，有效消解了行为歧义。这解决了强化学习训练中奖励信号稀疏化带来的学习效率瓶颈，使得模型能够建立从对话生成到物理文件输出的因果链路，为端到端智能体训练提供了可复现的评估基准。

衍生相关工作

该数据集的诞生源于Nvidia的Nemotron后训练系列研究，其前身v1版本催生了多个关于强化学习与工具使用结合的学术工作。研究人员基于此数据集开发了Harbor任务二元分类框架，并衍生出OpenThoughts-Agent数据转换体系。后续的终端智能体行为合同研究、多步推理奖励模型优化等方向，纷纷以此为基准进行对比实验，推动了大语言模型在具身智能体领域的规范化训练方法演进。