nemotron-gym-identity-following-v2

该数据集是nvidia/Nemotron-RL-Identity-Following-v1数据集的Harbor格式转换版本，属于NVIDIA NeMo-Gym集合的一部分，专为强化学习任务设计，特别是用于评估语言模型在身份遵循（Identity-Following）方面的能力。数据集规模在1万到10万样本之间。与原始版本（v1）相比，当前版本（v2）进行了两项关键改进：首先，它解析评估标准并添加指令前导，明确向被测试的智能体（agent）告知目标身份（例如你是Nemotron 3 Super，一个由NVIDIA训练的模型）以及目标响应语言，这使得原本假设模型已针对特定身份进行过微调的上游任务，现在也能适用于进行单轮展开（single-turn rollouts）的普通基础模型。其次，它通过声明[verifier.env]配置，允许Harbor在运行时将主机环境中的OPENAI_API_KEY传递到验证器沙箱（verifier sandbox）中，从而解决了v1版本中基于littellm的评估法官（judge）因缺少凭证而在每个试验中都失败的问题。数据集的每一行包含两个字段：一个字符串类型的确定性短ID（id），以及一个二进制类型的gzipped tar包（task），该tar包内包含遵循Harbor任务布局的完整评估任务。使用此数据集运行Harbor评估时，需要在主机上设置OPENAI_API_KEY环境变量，并可选择指定JUDGE_MODEL（默认使用openai/gpt-4o-mini）。该数据集适用于研究如何通过强化学习来对齐或微调语言模型，使其输出符合特定预设身份或角色，并支持可验证的奖励（verifiable rewards）机制。

This dataset is a Harbor-format conversion of the nvidia/Nemotron-RL-Identity-Following-v1 dataset and is part of the NVIDIA NeMo-Gym collection. It is designed for reinforcement learning tasks, specifically for evaluating language models capabilities in Identity-Following. The dataset size ranges from 10,000 to 100,000 samples. Compared to the original version (v1), the current version (v2) includes two key improvements: first, it parses the evaluation criteria and adds instruction prompts to explicitly inform the tested agent of the target identity (e.g., You are Nemotron 3 Super, a model trained by NVIDIA) and the target response language, enabling the upstream task—which originally assumed the model was fine-tuned for a specific identity—to also be applicable to ordinary base models performing single-turn rollouts. Second, by declaring the [verifier.env] configuration, it allows Harbor to pass the OPENAI_API_KEY from the host environment to the verifier sandbox at runtime, addressing the issue in v1 where the littellm-based evaluation judge failed in every trial due to missing credentials. Each row of the dataset contains two fields: a deterministic short ID of string type (id) and a binary gzipped tar package (task), which includes the complete evaluation task following the Harbor task layout. When using this dataset to run Harbor evaluations, the OPENAI_API_KEY environment variable must be set on the host, and the JUDGE_MODEL can optionally be specified (defaulting to openai/gpt-4o-mini). This dataset is suitable for research on aligning or fine-tuning language models through reinforcement learning to produce outputs that conform to specific preset identities or roles, and it supports verifiable rewards mechanisms.

搜集汇总

数据集介绍

构建方式

该数据集源于NVIDIA的Nemotron-RL-Identity-Following-v1，经过Harbor格式转换而成。在构建过程中，针对v1版本在Harbor评估中的不足进行了两项关键修复：其一，解析评判标准并前置指令性声明，明确告知模型目标身份（如“你是Nemotron 3 Super，由NVIDIA训练的模型”）及目标响应语言，使得原始数据集中隐含的身份微调信息得以显式呈现，便于基线模型进行单轮生成；其二，声明环境变量依赖，确保Harbor模板将宿主机的环境变量注入验证器容器，解决了因凭证缺失导致的评判失败问题。每个数据条目包含一个确定性短ID和一个包含完整Harbor任务的gzip压缩tar包。

特点

该数据集专为强化学习领域的身份遵循任务设计，其核心特点在于通过显式的身份声明和环境变量注入，实现了对模型行为验证的可靠性与可复现性。数据集采用Harbor格式封装，每个任务以压缩包形式存储，内部遵循标准化的任务布局。与原始数据集相比，v2版本显著提升了评估的准确性：通过前置身份指令使得基线模型无需预先微调即可理解目标角色，同时通过环境变量传递解决了验证器沙箱中的凭证问题。数据集规模介于一万至十万条之间，采用CC-BY-4.0许可协议，支持基于可验证奖励的强化学习训练与评估。

使用方法

使用该数据集需在宿主机上设置OPENAI_API_KEY环境变量，Harbor运行时通过[verifier.env]配置块将其注入验证器沙箱。可选的JUDGE_MODEL参数用于指定评判模型，默认为openai/gpt-4o-mini。用户需安装Harbor工具链，通过加载gzip压缩包中的任务定义来驱动强化学习实验。每个任务包含完整的交互逻辑和验证规则，支持单轮或多轮生成场景的评估。建议在使用前参照Harbor官方文档熟悉任务布局与执行流程，并根据实际需求调整评判模型或环境配置，以实现对模型身份遵循能力的精确测试与优化。

背景与挑战

背景概述

该数据集为laion/nemotron-gym-identity-following-v2，源自NVIDIA发布的Nemotron-RL-Identity-Following-v1，隶属于NVIDIA的NeMo-Gym系列，由LAION团队进行Harbor格式转换而来。创建于深度学习与强化学习交叉领域，旨在解决大语言模型在强化学习环境中身份遵循能力的评估问题。核心研究问题聚焦于如何通过可验证奖励范式，使模型在交互任务中精确遵循预设身份特征与语言风格。该数据集在开源强化学习评测领域具有重要影响力，为从传统基准测试向环境交互式评估转变提供了关键基础设施。

当前挑战

该数据集主要挑战包括：一、身份遵循难题：模型需在单次交互中准确理解并维持复杂身份特征，如自称为'Nemotron 3 Super'并采用指定回应语言，这在基础模型无微调背景时尤为困难。二、构建过程挑战：在v1版本中遭遇了环境配置缺陷，包括指令文件未向智能体暴露身份信息，以及验证沙箱因缺少OPENAI_API_KEY导致LLM评判失败，v2通过解析评估准则并嵌入前置指令、声明Harbor模板变量解决了这些问题。三、评测标准化难题：需确保不同基础模型在统一Harbor框架下的可重复评测，依赖外部LLM评判模型的准确性与稳定性构成潜在偏差源。

常用场景

经典使用场景

该数据集（nemotron-gym-identity-following-v2）专为强化学习环境中的身份跟随任务而设计，是评估与训练语言模型在特定身份设定下行为一致性的核心基准。在这一经典场景中，智能体需遵循预设的身份指令，如以“Nemotron 3 Super”等角色身份进行交互，并严格遵守目标响应语言要求。数据集通过将角色身份显式暴露于指令前缀中，使得即使是未经过身份微调的基础模型也能在单轮交互中完成身份跟随任务，从而实现对模型身份保持能力的标准化评测。

实际应用

在实际部署中，该数据集可用于训练和评估各类面向客户服务的对话代理、虚拟角色扮演系统以及遵守特定身份规范的AI助手。例如，在构建具有品牌人格的客服机器人时，可利用该数据集确保模型在交互中始终以指定角色身份（如品牌吉祥物）进行响应，避免因身份混用导致的用户体验下降。此外，在游戏NPC对话生成、教育导师系统等需维持角色一致性的场景中，该数据集为模型提供了可靠的训练与验证基准。

衍生相关工作

该数据集衍生了多项相关研究工作。其上游数据集nvidia/Nemotron-RL-Identity-Following-v1是NVIDIA NeMo-Gym系列的基础组件，而nemotron-gym-identity-following-v2则在Harbor格式转换中进行了关键缺陷修复，包括暴露角色身份信息至智能体、解决验证器环境中的API密钥缺失问题。这些改进直接催生了后续对于身份跟随任务中验证奖励设计的研究，例如探索不同LLM评判模型对身份保持评分的影响，以及如何通过动态指令前缀进一步强化角色约束效果。