nemotron-gym-cfbench-v2

这是一个用于Harbor任务的数据集，包含1,105个二进制任务。它基于nvidia/Nemotron-RL-CFBench-v1转换而来，是nvidia/Nemotron-Post-Training-v3集合的一部分。数据格式包括两列：path（字符串类型）和task_binary（gzip tar压缩格式），转换过程使用了OpenThoughts-Agent的data.nemotron_gym框架。数据集的评估采用混合方式，结合了确定性的IFEval约束和大型语言模型（LLM）评判。与前一版本相比，本版本主要修复了终端代理的答案交付契约：明确指示代理通过shell heredoc将答案写入指定文件路径并验证，从而解决了之前版本因交付方式不明确导致多数试验得分为零的问题，评估逻辑的其他方面保持不变。该数据集适用于文本生成任务，尤其涉及智能体、强化学习和Harbor相关场景。This is a Harbor task binary dataset containing 1,105 tasks. It is converted from nvidia/Nemotron-RL-CFBench-v1 and is part of the nvidia/Nemotron-Post-Training-v3 collection. The data format includes two columns: path (string type) and task_binary (gzip tar compressed format), with the conversion process using the OpenThoughts-Agents data.nemotron_gym framework. The dataset is evaluated using a hybrid approach that combines deterministic IFEval constraints and large language model (LLM) judgments. Compared to the previous version, this version primarily fixes the answer delivery contract for terminal agents: explicitly instructing agents to write answers to a specified file path via shell heredoc and verify, thereby resolving the issue in the previous version where most trials scored zero due to unclear delivery methods, while other aspects of the evaluation logic remain unchanged. The dataset is suitable for text generation tasks, particularly those involving agents, reinforcement learning, and Harbor-related scenarios.

原始信息汇总

数据集概述

数据集名称： laion/nemotron-gym-cfbench-v2
许可证： Apache-2.0
任务类型： 文本生成（text-generation）
标签： agent, harbor, reinforcement-learning, nemotron

该数据集是一个 Harbor 任务二进制数据集，包含 1,105 个任务。这些任务是从 nvidia/Nemotron-RL-CFBench-v1 转换而来，后者是 nvidia/Nemotron-Post-Training-v3 集合的一部分。

数据格式

• 数据列：path（字符串类型）+ task_binary（gzip tar 格式）
• 转换工具：OpenThoughts-Agent 框架的 data.nemotron_gym 模块

评分方式

混合评分：确定性 IFEval 约束 + 大语言模型（LLM）裁判。

与前一版本的差异

当前版本修复了终端智能体的 答案交付协议。旧版本只告诉智能体 生成什么，但未说明 如何提交；导致 1 轮次的 terminus-2 智能体将答案以聊天回复形式输出，而未写入评分文件，绝大多数试次因“答案文件缺失”而被判为 0 分。新版本指令明确要求：通过 shell heredoc 将答案写入评分器的文件路径（并进行验证）。评分逻辑其余部分保持不变。

搜集汇总

数据集介绍

构建方式

该数据集源自NVIDIA团队发布的Nemotron-RL-CFBench-v1，是Harbor任务-二进制数据集的一个转换版本，共包含1,105项任务。数据集构建依托OpenThoughts-Agent框架中的data.nemotron_gym模块，将原始数据转化为包含路径（path）和任务二进制（task_binary）两列的结构化格式，其中任务二进制以gzip压缩的tar包形式存储，便于高效加载与处理。

使用方法

该数据集适用于文本生成任务，尤其面向智能体与强化学习场景。使用者可通过加载path和task_binary字段获取任务数据，在模型推理完成后，利用内置的混合评分系统对智能体输出进行自动评估。评估时需确保模型遵循明确的文件写入规范，将答案正确输出至指定评分路径，以获取可靠的性能反馈。

背景与挑战

背景概述

nemotron-gym-cfbench-v2数据集由LAION团队于2024年基于NVIDIA发布的Nemotron-RL-CFBench-v1转换而来，隶属于NVIDIA Nemotron后训练模型系列。该数据集聚焦于强化学习智能体的推理与工具使用能力评估，包含1,105个二进制任务，旨在通过混合评估机制（确定性IFEval约束与大语言模型裁判）检验智能体在终端环境中的指令遵循与任务完成能力。作为连接开放式语言生成与结构化智能体交互的桥梁，该数据集为强化学习训练范式的迭代提供了标准化测试平台，推动了智能体在复杂命令执行场景中的基准研究。

当前挑战

该数据集核心挑战在于解决终端智能体执行指令时的契约失效问题：此前版本中智能体仅被告知生成内容而非提交方式，导致大多数试验因答案文件缺失归零。构建中需精确编码任务二进制流并维护混合评判一致性，同时应对不同智能体架构（如单轮终结型）的输出格式差异。此外，如何通过明确的指令规范（如shell heredoc写入路径）消除解释歧义，以及建立可复现的验证机制，构成了数据集构建与智能体能力度量的双重难点。

常用场景

经典使用场景

该数据集作为强化学习与智能体训练的重要资源，广泛应用于文本生成场景下的智能体行为优化任务。其核心用途在于评估和提升语言模型在复杂任务环境中的执行力，通过包含1,105个二元任务，覆盖从指令遵循到文件操作的多种挑战，尤其关注终端智能体的输出交付协议。研究者常将其作为基准，测试模型在确定性IFEval约束与LLM评判混合评价体系下的表现，从而推动智能体在结构化任务中的自主决策能力发展。

解决学术问题

该数据集针对智能体在任务执行中普遍存在的输出交付失败问题提供了解决方案，例如早期版本中智能体因未按规范写入答案文件而导致评分归零的现象。通过明确指令要求智能体以shell heredoc方式写入评分文件并进行验证，数据集有效消解了任务描述与执行行为之间的语义鸿沟。这一改进不仅提升了评估的可重复性，还揭示了智能体对精确行为协议的敏感性，为设计更鲁棒的交互式任务规范提供了实证基础。

实际应用

在实际场景中，该数据集可用于训练和测试自动化系统中的智能代理，如代码生成助手、运维脚本执行器或交互式对话系统。通过模拟用户要求与系统环境之间的复杂映射，智能体需学会在限定步骤内完成文件创建、格式转换等具体操作，这直接关系到生产环境中任务自动化的可靠性。企业可借助此类数据优化内部工具链，减少因指令执行偏差导致的人工干预成本，提升运维效率与响应速度。

数据集最近研究

最新研究方向

nemotron-gym-cfbench-v2数据集的研究前沿聚焦于强化学习智能体在复杂终端环境中的指令遵守与执行契约优化。该数据集源自NVIDIA的Nemotron-RL-CFBench-v1，包含1105项基于Harbor框架的二元任务，其独特之处在于引入了混合评分机制——结合IFEval确定性约束与大语言模型裁判。最新版本v2着重解决了终端智能体在任务提交环节的反馈失配问题：通过修正智能体如何提交答案的输出契约，强制要求其一回合内以shell heredoc方式写入指定文件路径并验证，而非仅以聊天回复输出。这一改进显著提升了智能体在实际物理环境或命令行场景下的任务完成率，使得强化学习训练中因机制不匹配导致的零分现象得到根本性遏制，为构建更鲁棒、可部署的通用终端智能体奠定了数据基础。"