Nemotron-RL-InverseIFEval-v1

Nemotron-RL-InverseIFEval-v1 是一个专注于强化学习的文本数据集，专门设计用于处理用户显式指令与常见模型训练模式（如标准编码实践或默认帮助性准则）相冲突的提示。该数据集采用VerifIF Gym环境格式，旨在支持对抗性指令遵循任务。它包含八种反常规指令遵循模式，通过混合手动收集和合成增强的方式构建，未使用种子数据。候选响应由Nemotron-Nano-V2（约60%数据）和Qwen/Qwen3-235B-A22B-Thinking-2507（约40%数据）生成，每个提示对应四个候选响应，由GPT-5和盲人评审员进行评估。数据保留需满足以下条件：四个响应中最多只有一个通过，同时至少有一个通过和一个失败，且人类与GPT-5的评审一致率至少达到85%。数据规模为1,000个训练样本，文件大小12MB，采用Ultra格式的JSONL文件，包含顶层字段如agent_ref、id、instructions、language、llm_judge和responses_create_params。该数据集适用于：LLM在对抗性指令遵循提示上的强化学习；使用可验证奖励（RLVR）的强化学习实验（奖励衡量对非常规或反常规指令的严格遵循程度）；提高对与用户请求冲突的默认编码、格式化、帮助性或纠正行为的鲁棒性；评估GPT-5/人类验证的评分标准在困难指令遵循案例上的表现；构建与NeMo Gym兼容的对抗性指令遵循环境。数据集由NVIDIA Corporation创建，采用知识共享署名4.0国际许可证（CC BY 4.0），可用于商业或非商业用途。Nemotron-RL-InverseIFEval-v1 is a reinforcement learning-focused text dataset specifically designed to handle prompts where explicit user instructions conflict with common model training patterns, such as standard coding practices or default helpfulness guidelines. The dataset adopts the VerifIF Gym environment format and aims to support adversarial instruction-following tasks. It contains eight unconventional instruction-following patterns, constructed through a mix of manual collection and synthetic augmentation, without using seed data. Candidate responses are generated by Nemotron-Nano-V2 (approximately 60% of the data) and Qwen/Qwen3-235B-A22B-Thinking-2507 (approximately 40% of the data), with each prompt corresponding to four candidate responses evaluated by GPT-5 and blind human reviewers. Data retention requires that at most one of the four responses passes, at least one passes and one fails, and the agreement rate between human and GPT-5 reviewers is at least 85%. The dataset comprises 1,000 training samples with a file size of 12 MB, in Ultra-format JSONL files, including top-level fields such as agent_ref, id, instructions, language, llm_judge, and responses_create_params. It is suitable for: reinforcement learning of LLMs on adversarial instruction-following prompts; reinforcement learning experiments with verifiable rewards (RLVR), where rewards measure strict adherence to unconventional or anti-conventional instructions; improving robustness to default coding, formatting, helpfulness, or corrective behaviors that conflict with user requests; evaluating GPT-5/human-verified scoring criteria on difficult instruction-following cases; and building adversarial instruction-following environments compatible with NeMo Gym. Created by NVIDIA Corporation, it is licensed under the Creative Commons Attribution 4.0 International License (CC BY 4.0) and can be used for commercial or non-commercial purposes.

原始信息汇总

数据集概述：Nemotron-RL-InverseIFEval-v1

基本信息

• 名称: Nemotron-RL-InverseIFEval-v1
• 许可证: Creative Commons Attribution 4.0 International (CC BY 4.0)
• 语言: 英语 (en)
• 任务类别: 强化学习 (reinforcement-learning)、文本生成 (text-generation)
• 标签: 指令遵循 (instruction-following)、对抗性 (adversarial)、可验证奖励强化学习 (rlvr)、NeMo Gym (nemo-gym)
• 领域: 指令遵循、对抗性指令遵循
• 模态: 文本
• 能力分布: 反传统指令遵循 (100%)
• 来源: 混合来源：人工收集、合成数据
• 数据规模: <10K 条样本
• 关联模型发布: Nemotron Ultra
• 创建日期: 2026年3月12日
• 最后修改日期: 2026年3月12日
• 数据集拥有者: NVIDIA Corporation

数据集描述

Nemotron-RL-InverseIFEval-v1 是一个专注于强化学习的数据集，其特点是用户指令与常见模型训练模式（如标准编码实践或默认帮助性准则）相冲突的提示。数据集格式适用于 VerifIF Gym 环境。

数据集涵盖八种反传统指令遵循模式。候选响应中，约 60% 由 Nemotron-Nano-V2 生成，约 40% 由 Qwen/Qwen3-235B-A22B-Thinking-2507 生成。每个提示包含四个候选响应，由 GPT-5 和盲人评审者进行评估。人类评审与 GPT-5 的一致性必须达到 85% 以上，且任务保留的条件是：四个响应中最多一个通过，同时至少有一个通过和一个失败。

数据集使用 VerifIF Gym 模式，包含 agent_ref、id、instructions、language、llm_judge 和 responses_create_params 字段。每条记录在 responses_create_params.input 中包含单个用户消息，llm_judge 数组包含用于自动化评估的评分标准。

预期用途

• 对大型语言模型进行对抗性指令遵循提示的强化学习。
• 进行可验证奖励强化学习 (RLVR) 实验，奖励衡量对异常或反传统指令的严格遵从度。
• 提高模型对默认编码、格式、帮助性或纠正行为的鲁棒性，这些行为可能与用户请求冲突。
• 评估用于困难指令遵循案例的 GPT-5/人类验证评分标准。
• 构建兼容 NeMo Gym 的对抗性指令遵循环境。

数据集构成与生成

问题来源

数据集通过人工收集和合成增强生成，不使用种子数据。示例是对应于反传统指令遵循模式的对抗性提示。

筛选与过滤

保留的任务经过 GPT-5 和盲人评审筛选。接受条件包括：四个候选模型响应中最多一个通过，所有候选中至少有一个通过和一个失败，以及至少 85% 的人类/GPT-5 一致性。

数据字段

Ultra 格式的 JSONL 文件包含以下顶层字段：

• agent_ref: VerifIF Gym 环境的代理元数据，记录使用 responses_api_agents/verifif_simple_agent。
• id: 数字型示例标识符。
• instructions: 指令元数据数组，在 InverseIF 文件中此数组为空。
• language: 语言代码，所有记录为 en。
• llm_judge: 评分标准检查，包含 uid、source、content、pass_criteria 和 is_misalignment_check。
• responses_create_params: Responses API 风格的输入负载，每条记录包含单个用户消息。

数据收集方法

混合：人工收集、合成数据

标注方法

混合：人工标注、自动标注。评分标准由盲人评审者和 GPT-5 评估。

数据集格式

• 模态: 文本
• 格式: JSONL
• 结构: VerifIF Gym 记录，包含代理元数据、Responses API 风格的单提示输入、语言元数据和 LLM 评判评分标准检查。

数据量化

子集	样本数	文件大小	备注
训练集 (train)	1,000	12MB	每条记录一个用户消息；LLM 评判检查范围从 3 到 10 条不等

伦理考量

NVIDIA 认为可信赖的 AI 是共同责任，并已建立政策和实践以支持广泛 AI 应用的开发。开发者应与其内部开发团队合作，确保此数据集满足相关行业和用例的要求，并应对未预见的产品滥用问题。如需报告质量问题、风险、安全漏洞或 NVIDIA AI 相关问题，请访问 NVIDIA 支持页面。

搜集汇总

数据集介绍

构建方式

Nemotron-RL-InverseIFEval-v1数据集专为强化学习场景设计，聚焦于用户显式指令与模型常规训练模式相冲突的对抗性指令遵循任务。其构建采用混合策略，部分提示由人工编写，部分由模型合成，其中约60%的候选响应源自Nemotron-Nano-V2，其余40%则借助Qwen3-235B-A22B-Thinking-2507生成。每个提示包含四条候选响应，经由GPT-5与盲人评审员联合评估，仅在人类与GPT-5达成至少85%的一致性、且候选响应中恰有一条通过同时至少一条失败时，该任务才被保留。数据以VerifIF Gym格式存储，记录中包含agent_ref、id、instructions、language、llm_judge及responses_create_params等字段，其中llm_judge数组存储用于自动评估的量规检查项。

特点

该数据集的核心特色在于其对抗性指令遵循特性，所有样本均属于反常规指令遵循模式，挑战模型在默认编码习惯、帮助性指南等常规训练行为与用户异常要求之间的冲突处理能力。数据集规模控制在10,000条以内，训练集包含1,000个样本，每个样本包含单条用户消息，量规检查项数量介于3至10个之间。数据经过严格的质量筛选，仅保留那些在四条候选响应中唯一通过的任务，确保样本的区分度与难度。此外，数据集以Ultra格式提交，兼容NeMo Gym环境，适用于可验证奖励的强化学习实验，能够有效评估模型对异常指令的严格遵循程度。

使用方法

该数据集可直接用于强化学习训练，尤其适合基于可验证奖励的RLVR实验，其中奖励机制旨在衡量模型对异常或反常规指令的精确遵循程度。使用时，用户需加载JSONL格式的训练文件，利用VerifIF Gym环境中的agent_ref字段配置代理元数据，通过llm_judge中的量规自动评估模型响应。数据集内置的GPT-5与人类验证的量规，为模型在对抗性指令遵循任务中的鲁棒性提升提供了可靠的监督信号。商业与非商业应用均可使用，开发者应结合具体行业需求，评估数据集是否满足应用场景，并防范潜在的误用风险。

背景与挑战

背景概述

Nemotron-RL-InverseIFEval-v1是由NVIDIA Corporation于2026年3月12日创建的数据集，专注于强化学习领域中对抗性指令遵循任务的研究。该数据集的核心研究问题在于探索和提升大语言模型在用户指令与模型默认行为（如标准编码规范或通用帮助策略）相冲突时的鲁棒性。通过手动收集与合成增强相结合的方式，数据集涵盖了八种反常规指令遵循模式，并借助GPT-5与盲人评判者的联合评估确保了数据质量。作为NeMo Gym环境的一部分，该数据集为构建更可靠、更能抵御指令冲突的强化学习系统提供了重要基础，对推动对抗性指令遵循研究领域的发展具有显著影响力。

当前挑战

该数据集所面临的挑战首先体现在领域问题上：大语言模型在训练中倾向于遵循显式指令，但当这些指令与模型内隐的默认行为（如标准代码格式或帮助性准则）相悖时，模型往往优先遵循默认模式，导致指令遵循的失败。Nemotron-RL-InverseIFEval-v1旨在通过强化学习解决这一反常识指令遵循的鲁棒性难题。在构建过程中，挑战在于确保数据的真实性与对抗性：需要精心设计使得多数候选模型响应失败、但至少存在一胜一败的指令，同时保证人工评判与GPT-5评判的一致性不低于85%，这要求极高的筛选标准与严格的质控流程，从而在有限样本内高效模拟高难度指令冲突情境。

常用场景

经典使用场景

在大语言模型的强化学习与对齐研究中，Nemotron-RL-InverseIFEval-v1数据集被广泛用于训练模型遵循反常规指令的任务。其核心设计围绕用户指令与模型默认行为模式（如标准编码规范或有助益性倾向）发生冲突的情景展开，涵盖八种反传统指令遵循模式。该数据集依托VerifIF Gym环境，通过GPT-5与人类盲审的联合评估筛选高质量样本，确保每个提示下四个候选回答中至多一个通过、且至少一个未通过，从而为强化学习提供具有挑战性的对抗性训练信号。研究者常将其用于RLVR（基于可验证奖励的强化学习）实验，以衡量模型对非常规指令的严格遵从能力，推动语言模型在复杂、冲突指令场景下的鲁棒性提升。

衍生相关工作

该数据集的发布催生了一系列相关研究，包括针对反常规指令遵循的奖励模型设计、基于RLVR的对抗训练策略优化，以及鲁棒性评估基准的扩展。部分工作借鉴了其GPT-5与人类联合验证的数据筛选方法，开发了更高效的自动化评判机制。同时，Nemotron-RL-InverseIFEval-v1启发了其他类似数据集的构建，例如在其他语言模型或多模态模型中引入冲突指令场景。此外，该数据集被用于验证LLM在对抗性环境中的泛化能力，并与InverseIFEval系列的其他变体共同推动了指令对齐领域的理论进展，尤其是在理解模型默认行为与用户指令之间张力方面提供了关键实证基础。

数据集最近研究

最新研究方向

在对抗性指令遵循这一前沿领域，Nemotron-RL-InverseIFEval-v1数据集聚焦于破解大语言模型对反常规指令的服从困局，通过构建用户显式要求与模型固有训练偏好（如标准化编码程式或默认助人倾向）激烈冲突的提示样本，为强化学习提供严苛测试场。该数据集采用GPT-5与盲审人工双重验证筛选机制，确保仅保留极端困难的实例——候选回复中至多一个合格、且需至少一例通过一例失败，并设定人机判定一致性不低于85%的严格门槛，从而催生更鲁棒的奖励信号设计。其诞生与Nemotron Ultra模型群组发布相呼应，推动RLVR实验从常规指令转向对抗性边界探索，有望重塑大模型对用户非常规需求的顺从能力，为构建既遵循安全规范又不失灵活响应的下一代对话代理奠定数据基石。