nemotron-gym-sysbench-v2

该数据集名为nemotron-gym-sysbench-v2，由LAION发布，是一个Harbor任务二进制数据集，包含1,010个任务。它源自NVIDIA的Nemotron-RL-SysBench-v1（属于Nemotron-Post-Training-v3集合的一部分），并通过OpenThoughts-Agent的data.nemotron_gym框架进行转换。数据集包含两列：path（字符串类型，表示路径）和task_binary（gzip tar格式，存储任务二进制数据）。数据集的评估采用混合方式：结合确定性IFEval约束和大型语言模型（LLM）评判。与前一版本相比，此版本修复了终端代理的答案交付契约，明确指示代理通过shell heredoc将答案写入指定评分文件路径并验证文件存在，从而解决了之前因代理未正确提交答案文件而导致的评分问题（如答案文件缺失导致零分），但评分逻辑保持不变。该数据集适用于文本生成任务，特别是与代理、Harbor、强化学习和Nemotron相关的应用场景，采用Apache-2.0许可证。

原始信息汇总

laion/nemotron-gym-sysbench-v2 数据集概述

基本信息

• 许可证：Apache-2.0
• 任务类别：文本生成（text-generation）
• 标签：agent、harbor、reinforcement-learning、nemotron

数据集内容

该数据集包含 1,010个任务，源自 nvidia/Nemotron-RL-SysBench-v1，是 nvidia/Nemotron-Post-Training-v3 数据集集合的一部分。

数据格式

• 包含两个主要列：path（字符串类型）和 task_binary（gzip tar 压缩格式）
• 使用 OpenThoughts-Agent data.nemotron_gym 框架进行格式转换

评分机制

采用混合评分方式：

• 确定性评分：基于 IFEval 约束
• LLM评分：由大语言模型作为裁判进行评判

版本变更说明（与上一版本相比）

本版本修复了终端智能体的 答案交付约定（answer-delivery contract）：

• 上一版本的问题：仅告诉智能体需要"产生什么"答案，但未说明"如何提交"；导致1轮交互的 terminus-2 智能体将答案以聊天回复形式输出，而非写入评分文件，造成大多数试验因"答案文件缺失"而得分为0
• 本版本改进：指令中明确要求通过 shell heredoc 方式将答案写入评分器的文件路径（并进行验证）
• 评分逻辑本身未作其他更改

搜集汇总

数据集介绍

构建方式

该数据集的构建源自于对NVIDIA先前发布的Nemotron-RL-SysBench-v1数据集的深度转化。通过OpenThoughts-Agent框架中的数据转化工具，将原始的1,010条任务数据以二进制格式存储，形成包含路径字段与压缩任务文件的结构化数据。这一转化不仅保留了原始任务的核心内容，还针对终端智能体的交互协议进行了关键性修正，确保任务传达与执行链条的完整性。

使用方法

数据集的调用流程设计为适配强化学习与智能体训练场景。用户在加载数据后，需依据路径字段提取对应的任务二进制文件，通过解压获取具体指令与上下文。智能体必须遵循明确的答案交付协议：使用shell heredoc将最终结果写入评分器指定的文件路径，而非通过对话回复提交。完成输出后，系统自动调用混合评分模块，综合格式约束与语义判定生成最终评分。

背景与挑战

背景概述

nemotron-gym-sysbench-v2数据集由LAION团队于2024年基于NVIDIA的Nemotron-RL-SysBench-v1转换而来，旨在为强化学习环境下的智能体提供标准化的任务基准。该数据集包含1010个二进制任务，涵盖从系统操作到决策制定的多样化场景，是NVIDIA Nemotron后训练系列的重要组成部分。其核心研究问题聚焦于如何通过确定性IFEval约束与LLM评判混合评估机制，提升智能体在终端环境中的任务执行能力。该数据集对智能体训练与评估领域产生了显著影响，推动了更可靠、可复现的智能体行为研究。

当前挑战

该数据集面临的核心挑战包括：1) 领域问题层面，智能体在终端环境中常因无法正确提交答案而失效，如先前版本中智能体将答案以聊天回复形式输出而非写入指定文件，导致评分全为0；2) 构建过程层面，需要精准设计指令以规范智能体的行为模式，将模糊的任务描述转化为可执行的shell heredoc指令并验证其正确性，同时保持评分逻辑的稳定性与一致性，从而确保评估的公平性与可重复性。

常用场景

经典使用场景

Nemotron-Gym-SysBench-V2数据集在强化学习与智能体训练领域中占据着独特地位，其最经典的使用场景是作为终端代理（terminal agent）的基准测试平台。该数据集囊括了1,010个精心设计的二进制任务，每个任务均融合了确定性IFEval约束与LLM评判的混合评分机制，因而成为评估与优化多轮交互式智能体在复杂指令遵循、文件操作及环境交互方面能力的黄金标准。研究者通常利用这些任务来训练模型，使其学会如何通过shell命令精确执行操作并验证结果，从而显著提升智能体在模拟系统环境中的自主决策与执行能力。

解决学术问题

该数据集核心解决了学术领域中智能体在终端环境下执行任务时普遍存在的“答案交付违规”问题。在先前版本中，终端代理常因未遵循正确的输出格式（如直接将答案写入聊天回复而非指定文件）而导致评分归零，暴露出指令理解与行为对齐之间的深层矛盾。Nemotron-Gym-SysBench-V2通过明确定义任务契约，强制代理采用shell heredoc方式将结果写入评分文件并验证，从而弥合了理论指令与实操执行之间的鸿沟。这一设计不仅推动了指令微调与强化学习中对行为约束模型的研究，更引领了多回合交互式智能体在结构化任务中的鲁棒性探讨，对构建可信赖的自主系统具有深远启示。

实际应用

在实际应用层面，该数据集主要用于训练与评测具备终端操作能力的AI代理，可用于自动化运维、云资源管理及软件开发流水线等场景。例如，模型通过在该数据集上训练，能够学习自动登录服务器、执行环境配置脚本、生成日志文件并验证结果，从而替代人工完成高频且标准化的运维操作。此外，该数据集还适用于智能体竞赛平台Hatbor的任务构建框架，支持科研机构与企业在基准环境中快速迭代代理算法，加速从实验室原型向工业级自动化工具的转化进程。

数据集最近研究

最新研究方向

在当前智能体与强化学习交叉的前沿领域，nemotron-gym-sysbench-v2数据集通过修复终端智能体答案交付契约，解决了先前版本中因智能体将答案作为聊天回复而非写入评分文件而导致的零得分问题。这一改进紧密关联了NVIDIA Nemotron-Post-Training-v3系列的最新研究热点，即利用混合评分机制（确定性IFEval约束与LLM判断）来评估复杂任务执行能力。该数据集的发布标志着在智能体训练中，从仅指定执行内容到明确执行协议的关键演进，为构建更鲁棒的、可验证的强化学习智能体提供了标准化基准，显著推动了自主系统在现实场景中可靠完成任务的能力边界。