Nemotron-RL-Multichallenge-v1

Nemotron-RL-Multichallenge-v1是一个用于强化学习的数据集，旨在提升大型语言模型在多轮对话中的质量，特别是在推理记忆、指令保持、可靠版本编辑和自我一致性等方面。该数据集包含手动收集和合成增强的多挑战任务，采用VerifIF Gym环境格式。数据通过模型破坏工作流程构建：首先创建复杂的多轮任务，然后为每个任务生成四个候选响应，其中约60%使用NVIDIA-Nemotron-3-Nano-30B-A3B-BF16/Nemotron-Nano-V2模型生成，约40%使用Qwen/Qwen3-235B-A22B-Thinking-2507模型生成。每个任务经过人类评估员和GPT-5评估，筛选标准是任务足够困难，使得四个响应中最多只有一个能通过所有检查，同时在通过/失败结果中显示出非主观差异。数据集包含两个变体：advanced版本（1,068个样本）包含系统消息，输入长度范围为10-32条消息；vanilla版本（1,050个样本）仅包含用户/助手对话输入，输入长度范围为9-19条消息。总计2,118个样本，文件大小217MB。数据采用Ultra格式的JSONL文件，包含agent_ref、id、instructions、language、llm_judge和responses_create_params等顶层字段。该数据集适用于：LLM在困难多轮指令跟随任务上的强化学习；在VerifIF Gym环境中使用基于规则的验证进行可验证奖励强化学习实验；训练和评估推理记忆、指令保持、版本编辑和自我一致性；测量模型在跨多轮出现约束并可能需要编辑先前答案时的鲁棒性；构建与NeMo Gym兼容的多轮对话环境。数据集采用CC BY 4.0许可证，可用于商业或非商业用途。Nemotron-RL-Multichallenge-v1 is a dataset for reinforcement learning aimed at improving the quality of large language models in multi-turn dialogues, particularly in areas such as reasoning memory, instruction adherence, reliable version editing, and self-consistency. The dataset includes manually collected and synthetically augmented multi-challenge tasks, formatted in the VerifIF Gym environment. It is designed using a model corruption workflow: first constructing complex multi-turn tasks, then generating four candidate responses for each task. Approximately 60% of the data is generated using NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 / Nemotron-Nano-V2 models, and about 40% using Qwen/Qwen3-235B-A22B-Thinking-2507 models. Each task is evaluated by human assessors and GPT-5, with selection criteria ensuring the task is sufficiently difficult so that at most one of the four responses passes all checks, while showing non-subjective differences in pass/fail outcomes. The dataset includes two variants: an advanced version (1,068 samples) containing system messages with input lengths ranging from 10 to 32 messages, and a vanilla version (1,050 samples) containing only user/assistant dialogue input with input lengths ranging from 9 to 19 messages. In total, there are 2,118 samples, with a file size of 217MB. The data is in Ultra-format JSONL files, with top-level fields including agent_ref (agent metadata for VerifIF Gym environment), id (numeric example identifier), instructions (array of instruction metadata, empty in multi-challenge files), language (language code, all en), llm_judge (rule checks containing uid, source, content, pass_criteria, and is_misalignment_check), and responses_create_params (response API-style input payload with an array of messages containing role and content). The dataset is suitable for: reinforcement learning for LLMs on difficult multi-turn instruction-following tasks; verifiable reward reinforcement learning experiments using rule-based verification in the VerifIF Gym environment; training and evaluating reasoning memory, instruction adherence, version editing, and self-consistency; measuring model robustness when constraints appear across multiple turns and may require editing previous answers; building multi-turn dialogue environments compatible with NeMo Gym. The dataset is licensed under CC BY 4.0 and can be used for commercial or non-commercial purposes.

原始信息汇总

数据集名称

Nemotron-RL-Multichallenge-v1

基本信息

• 许可协议: Creative Commons Attribution 4.0 International (CC BY 4.0)
• 语言: 英语 (en)
• 任务类别: 强化学习 (reinforcement-learning)、文本生成 (text-generation)
• 标签: 指令跟随 (instruction-following)、多轮对话 (multi-turn)、可验证奖励强化学习 (rlvr)、NeMo Gym (nemo-gym)
• 领域: 指令跟随、多轮对话
• 模态: 文本 (text)
• 能力构成: 多轮指令跟随 [100%]
• 数据来源: 混合型：人工收集 + 合成数据
• 数据规模: < 10,000 条
• 关联模型: Nemotron Ultra
• 所有者: NVIDIA Corporation
• 创建日期: 2026年3月11日

数据集描述

Nemotron-RL-Multichallenge-v1 是一个用于强化学习的数据集，旨在提升多轮对话质量，具体涵盖以下方面：

• 推理记忆 (inference memory)
• 指令保持 (instruction retention)
• 可靠版本编辑 (reliable version editing)
• 自我一致性 (self-coherence)

该数据集包含人工收集和合成增强的 MultiChallenge 任务，并按照 VerifIF Gym 环境格式进行整理。

数据生成与筛选

• 任务设计: 采用“模型破解”工作流，设计复杂的多轮任务。
• 候选回复生成: 每个任务生成 4 个候选回复。约 60% 的数据使用 NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 / Nemotron-Nano-V2 生成，约 40% 使用 Qwen/Qwen3-235B-A22B-Thinking-2507 生成。
• 筛选标准: 由人类评估者和 GPT-5 联合评估。只有当 4 个回复中最多有 1 个通过所有检查，且通过/失败结果存在有意义的差异时，该任务才被保留。

数据字段

数据集采用 Ultra 格式的 JSONL 文件，包含以下顶级字段：

• agent_ref: VerifIF Gym 环境的代理元数据，记录使用 responses_api_agents/verifif_simple_agent。
• id: 数字示例 ID。
• instructions: 指令元数据数组，在本数据集中为空。
• language: 语言代码，全部为 en。
• llm_judge: 评分规则检查项，包含 uid、source、content、pass_criteria 和 is_misalignment_check。
• responses_create_params: Responses API 风格的输入负载，包含 input 数组，数组元素有 role 和 content 消息。

数据集子集

子集	样本数	文件大小	说明
advanced	1,068	179MB	包含系统消息；输入消息长度范围 10 到 32 条
vanilla	1,050	38MB	用户/助手对话输入；输入消息长度范围 9 到 19 条
总计	2,118	217MB	advanced + vanilla

预期用途

• 对大型语言模型进行困难多轮指令跟随任务的强化学习。
• 在 VerifIF Gym 环境中使用基于评分规则的验证进行可验证奖励强化学习 (RLVR) 实验。
• 训练和评估模型的推理记忆、指令保持、版本编辑和自我一致性能力。
• 衡量模型在跨多轮出现约束且可能需要修改早期答案时的鲁棒性。
• 构建兼容 NeMo Gym 的多轮对话环境。

伦理考量

NVIDIA 认为值得信赖的 AI 是一项共同责任，已建立相关政策和实践以支持广泛 AI 应用的开发。开发者应与内部开发团队协作，确保数据集满足相关行业和用例的要求，并解决潜在的误用问题。质量问题、风险、安全漏洞或 NVIDIA AI 相关问题可提交至 NVIDIA 安全漏洞提交页面。

搜集汇总

数据集介绍

构建方式

Nemotron-RL-Multichallenge-v1 数据集采用混合构建策略，融合了人工收集与合成增强技术。其核心流程围绕模型破解（model-breaking）范式展开：首先设计复杂的多轮对话任务，随后为每项任务生成四组候选回复，其中约60%的数据由 NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 / Nemotron-Nano-V2 模型生成，剩余40%则借助 Qwen/Qwen3-235B-A22B-Thinking-2507 模型完成。每项任务均经由人类评估者与 GPT-5 联合评审，仅当四组回复中至多有一组通过全部检验，且通过/未通过结果呈现有意义的非主观方差时，该任务才被保留。最终形成分别包含系统消息与不含系统消息的 advanced 和 vanilla 两个子集。

特点

该数据集专为提升多轮对话中的推理记忆、指令保持、可靠版本编辑及自我一致性而设计，具备高度的挑战性与特异性。所有样本均采用 VerifIF Gym 环境架构，记录中包含 agent_ref、id、instructions、language、llm_judge 及 responses_create_params 等字段，其中 llm_judge 嵌入细粒度的评分规则检查，支持自动化评估。数据集规模适中，advanced 子集包含1,068个样本，vanilla 子集包含1,050个样本，输入长度从9到32条消息不等，覆盖从简单到复杂的多轮交互场景。数据基于 CC-BY-4.0 许可发布，适用于商业及非商业用途。

使用方法

该数据集主要面向基于可验证奖励的强化学习（RLVR）实验，特别适用于在 NeMo Gym 兼容环境中训练和评估多轮指令遵循模型。使用时，开发者可通过 Hugging Face 的 datasets 库加载 advanced 或 vanilla 配置，获取 VerifIF Gym 格式的 JSONL 文件。每条记录中的 responses_create_params.input 字段提供了完整的对话状态，可直接输入至 Responses API 风格的智能体；llm_judge 字段中的评分规则可用于自动化评估模型输出。数据集适合用于优化推理记忆、指令保持、版本编辑与自我一致性等维度，并可通过 rubric 检验衡量模型在多轮约束下的鲁棒性。

背景与挑战

背景概述

Nemotron-RL-Multichallenge-v1是由NVIDIA Corporation于2026年3月11日创建的一个面向强化学习的数据集，旨在提升多轮对话中的推理记忆、指令保持、版本编辑可靠性和自我连贯性。该数据集采用混合来源策略，结合人工收集与合成增强，并利用模型破坏式工作流程设计复杂任务，通过GPT-5和人工评审筛选出具有非主观性方差的高难度样本。作为NVIDIA Nemotron Ultra模型生态的一部分，该数据集为多轮指令遵循任务提供了标准化评估环境，推动了强化学习中的可验证奖励机制（RLVR）发展，对构建鲁棒性更强的对话系统具有重要意义。

当前挑战

该数据集致力于解决多轮对话中模型难以长期保持指令、在上下文约束下编辑先前回答以及维持逻辑自洽的领域挑战。在构建过程中，主要挑战包括：设计足够困难的任务以确保至多一个候选回答能通过所有校验，同时避免出现主观性偏差；平衡人工收集与合成数据的比例，保证样本多样性；以及在VerifIF Gym环境中定义精确的评判标准，使自动化评估结果与人类判断高度一致。此外，数据集规模限制在2,118条样本，如何在小样本条件下有效训练模型也构成显著挑战。

常用场景

经典使用场景

Nemotron-RL-Multichallenge-v1数据集专为强化学习与文本生成双重任务而设计，尤其聚焦于多轮对话场景下的指令遵循能力提升。其最经典的使用场景在于构建和评估大语言模型在多轮交互中的鲁棒性，涵盖推理记忆、指令保持、可靠版本编辑与自我一致性四项核心挑战。通过精心设计的模型突破性任务（model-breaking tasks），每个样本包含多个对话轮次与复杂约束，要求模型在长程交互中精准回溯指令、维护历史语境，并能在必要时修改早期回答。该数据集特别适用于RLVR（基于可验证奖励的强化学习）实验，在VerifIF Gym环境中借助细粒度评分标准（rubric checks）自动评估模型表现，为多轮对话系统的训练与评测提供了高质量的基准。

解决学术问题

该数据集针对当前大语言模型在多轮对话中普遍存在的指令遗忘、语境漂移与自我矛盾等核心瓶颈提供了系统性的解决方案。学术研究长期受困于缺乏专门评估多轮对话鲁棒性的标准化数据集，已有基准多聚焦单轮或简单多轮任务，难以揭示模型在复杂约束下的真实退化行为。Nemotron-RL-Multichallenge-v1通过引入人工设计加合成增强的多挑战样本，并采用严格的通过率筛选机制（最多一个候选回答全部通过），确保每个任务对现有模型构成足够难度且具有非主观性的通过/失败方差。它直接推动了推理记忆建模、交互式指令保持机制以及可编辑对话策略等研究方向的发展，显著提升了多轮对话系统中认知一致性与鲁棒性评估的严谨水平。

衍生相关工作

围绕Nemotron-RL-Multichallenge-v1已衍生出一系列具有代表性的学术与工程成果。作为NVIDIA Nemotron模型系列的重要配套数据集，它直接服务于Nemotron Ultra等先进大语言模型的多轮对话能力强化。相关工作包括基于该数据集开发的VerifIF Gym环境标准化接口，使得研究人员能够高效地进行RLVR训练与评估；同时，该工作推动了多轮对话鲁棒性基准的构建，如结合推理记忆与版本编辑能力的对话代理训练框架。此外，其模型突破式数据生成范式（确保至多一个候选回答通过且保留通过/失败方差）已启发后续研究在数据难度可控性与评判一致性方面的创新方法。该数据集作为NeMo Gym生态的关键组成部分，促进了多轮强化学习在工业级对话系统中的应用落地。