nemotron-gym-instruction-following-multiturnchat-v2

该数据集是从nvidia/Nemotron-RL-Instruction-Following-MultiTurnChat-v1转换而来的Harbor任务二进制数据集，包含2,011个任务，属于nvidia/Nemotron-Post-Training-v3集合的一部分。数据集包含两列：path（字符串类型）和task_binary（gzip压缩包格式），使用OpenThoughts-Agent的data.nemotron_gym框架进行转换。数据适用于多轮对话指令遵循任务，评估采用多轮次标准LLM评判器（覆盖所有标准），运行需要OPENAI_API_KEY。v2版本相比前一版本主要修复了终端代理的答案交付契约问题：现在明确指示代理通过shell heredoc将答案写入评分器指定的文件路径并验证，而之前版本仅说明生成内容但未说明提交方式，导致多数试验因缺少答案文件而得分为0。This dataset is a Harbor task binary dataset converted from nvidia/Nemotron-RL-Instruction-Following-MultiTurnChat-v1, containing 2,011 tasks and part of the nvidia/Nemotron-Post-Training-v3 collection. The dataset includes two columns: path (string type) and task_binary (gzip compressed format), converted using the data.nemotron_gym framework of OpenThoughts-Agent. It is suitable for multi-turn dialogue instruction-following tasks, evaluated using a multi-turn standard LLM judge (covering all standards), and requires an OPENAI_API_KEY to run. The v2 version primarily fixes the answer delivery contract issue for terminal agents: it now explicitly instructs agents to write answers to the file path specified by the scorer via shell heredoc and verify, whereas the previous version only described content generation without specifying the submission method, leading to most trials scoring 0 due to missing answer files.

原始信息汇总

数据集概述

• 名称: laion/nemotron-gym-instruction-following-multiturnchat-v2
• 许可协议: Apache-2.0
• 任务类别: 文本生成（text-generation）
• 标签: agent, harbor, reinforcement-learning, nemotron

数据集来源与转换

• 原始来源: 该数据集源自 nvidia/Nemotron-RL-Instruction-Following-MultiTurnChat-v1，是 nvidia/Nemotron-Post-Training-v3 集合的一部分。
• 转换框架: 使用 OpenThoughts-Agent 数据框架中的 data.nemotron_gym 进行转换，得到包含列 path（字符串）和 task_binary（gzip tar 格式）的 Harbor 任务二进制数据集，共计 2,011 个任务。

评估机制

• 评分方式: 基于多轮对话的 LLM 判断（涵盖所有标准），执行评估时需要设置 OPENAI_API_KEY。

版本更新说明（v2 vs v1）

• 主要改进: 修复了终端 agent 的 答案提交约定。
• 问题背景: 旧版本仅告知 agent 要生成什么，但未说明 如何提交；导致单轮 terminus-2 agent 将答案以聊天回复形式输出，而非写入评分文件，多数测试因“答案文件缺失”而得 0 分。
• 修复内容: 新版指令明确要求通过 shell heredoc 方式将答案写入评分器的文件路径，并执行验证操作。评分逻辑本身未作更改。

搜集汇总

数据集介绍

构建方式

该数据集源自NVIDIA发布的Nemotron-RL-Instruction-Following-MultiTurnChat-v1，是Harbor任务二进制数据集家族的一员，包含2,011个精心设计的任务。数据集通过OpenThoughts-Agent框架中的data.nemotron_gym流水线进行转换，原始数据经过路径（path）与二进制任务（task_binary）两列结构的重新组织，以gzip压缩的tar格式存储，确保了数据的高效存储与加载。相较于前一版本，本次构建特别修正了智能体执行任务时的答案交付协议，明确要求终端智能体通过Shell heredoc方式将结果写入评分者指定的文件路径，并执行验证步骤，从而解决了此前因答案提交方式不当导致的评分失败问题。

特点

该数据集的核心特点在于其专为多轮对话指令跟随场景设计的强化学习任务集，每个任务均配备由多轮评估LLM法官执行的综合评分规则集，能够对智能体在复杂交互中的表现进行细粒度评价。所有任务均采用二进制格式封装，便于在分布式计算环境中高效调度与执行。值得注意的是，数据集在任务描述中嵌入了明确的答案提交协议，强制智能体以文件写入而非聊天回复的形式提交最终答案，这一设计大幅提升了评分过程的确定性与可靠性。同时，数据集的评估环节依赖外部API（需OPENAI_API_KEY），确保了评价标准的先进性与一致性。

使用方法

用户可通过Hugging Face数据集库直接加载该资源，在强化学习或指令微调场景中作为智能体训练的任务基准。使用时需配置OpenAI API密钥以启用多轮LLM法官的自动评分功能。数据集以Harbor任务格式提供，用户需依照OpenThoughts-Agent框架的规范进行任务的读取与解析，具体包括从‘task_binary’列解压二进制内容，并根据‘path’列确定任务标识。对于终端智能体，需严格遵循任务描述中的答案提交协议，将最终结果写入指定文件路径，否则评分环节将因文件缺失而判零分。建议结合NVIDIA Nemotron-Post-Training-v3系列模型进行同步微调与评估。

背景与挑战

背景概述

在大语言模型的后训练阶段，强化学习（Reinforcement Learning, RL）被广泛用于提升模型对复杂指令的遵循能力与多轮对话表现。2024年，NVIDIA研究团队基于其Nemotron后训练框架，发布了Nemotron-RL-Instruction-Following-MultiTurnChat-v1数据集，旨在为RL训练提供多轮指令遵循任务。该数据集的v2版本由LAION团队于2024年底转换而来，通过Harbor任务二进制框架生成，包含2,011个二元任务，聚焦于智能体（agent）在终端环境中执行指令时的输出格式一致性。这一数据集填补了开源生态中高质量、多轮交互式RL训练数据的空白，为后续研究提供了可复现的基准，尤其在自动化代码生成与工具使用场景中具有重要影响力。

当前挑战

该数据集核心解决的领域挑战在于：大语言模型在多轮对话中准确遵循指令并生成可被系统解析的输出，例如在终端交互中需同时完成内容生成与文件写入。其构建过程中的挑战体现在：原始v1版本未明确指定智能体提交答案的格式，导致基于终端的智能体以聊天回复形式输出而非写入指定文件，造成自动评分系统因“答案文件缺失”而给出零分。v2版本通过引入shell heredoc指令及验证机制，修正了智能体与评分器之间的输出契约，但需依赖OpenAI API进行多轮评分，增加了部署门槛与外部依赖的不可控性，且评分逻辑的非显式设计可能限制其在离线评估场景中的适用性。

常用场景

经典使用场景

该数据集专为多轮对话场景中的指令遵循能力评估而设计，其经典使用方式是通过构建智能体（Agent）在多轮交互中准确执行用户指令并提交结果的任务。数据集中包含超过两千个二进制任务，每个任务均要求模型在对话过程中理解复杂指令、生成合理回复，并最终以指定格式将答案写入文件。研究者通常利用该数据集训练或评测语言模型在多轮对话中的指令遵循能力，尤其关注模型能否在对话后期正确完成终结性操作，如通过Shell命令写入结果文件，而非仅以自然语言回复。

解决学术问题

该数据集有效解决了多轮对话系统中指令遵循与结果提交割裂的学术难题。早期版本中，智能体常将最终答案以聊天形式输出，而非执行文件写入操作，导致评分为零。该数据集通过明确指令交付契约，强制模型在对话末尾执行具体的文件系统操作，从而推动了对对话智能体终结行为一致性的研究。其意义在于为强化学习后的语言模型提供了一种可量化的多轮指令遵循评测基准，揭示了模型在复杂交互中从理解指令到执行操作的完整能力链条，对提升对话系统的实用性与可靠性具有重要影响。

衍生相关工作

该数据集衍生了多项经典工作，最直接的是作为NVIDIA Nemotron-RL后训练流程的核心组件，推动了基于强化学习的多轮对话指令遵循研究。其前身版本的问题导致了针对对话智能体终结行为的设计改进，催生了“答案交付契约”这一概念，后续工作如OpenThoughts-Agent框架将其标准化为数据转换工具。此外，该数据集被用于Harbor任务二进制评估体系，为多轮交互中智能体的文件写入可靠性提供了基准测试。相关研究还探索了通过LLM裁判（Rubric Judge）进行多轮评估的方法，其中每个任务需结合OpenAI API进行自动评分，这些工作共同促进了对话系统中指令遵循与可执行操作相结合的研究方向。