Nemotron-RL-SysBench-v1

Nemotron-RL-SysBench-v1是一个用于指令跟随问题的强化学习数据集，特别专注于大型语言模型（LLM）必须遵循系统提示中复杂指令的场景。该数据集采用人工收集与合成增强相结合的方式构建，格式化为VerifIF Gym环境兼容的结构。数据集包含1,010个训练样本（文件大小25MB），采用JSONL格式，每条记录包含以下核心字段：agent_ref（VerifIF Gym环境的代理元数据）、id（数字示例标识符）、instructions（结构化指令元数据，包含约束参数等信息）、llm_judge（用于自动评估的法官检查元数据）以及responses_create_params（包含系统消息、至少一条用户消息和可选助手历史消息的响应API风格输入负载）。数据生成过程中，使用NVIDIA-Nemotron-3-Nano-30B-A3B-BF16和Qwen/Qwen3-235B-A22B-Thinking-2507作为SDG模型，GPT-5用于数据过滤。每条记录包含1条系统消息，输入消息长度在2到20条之间，指令检查数量为0到12个，LLM-judge检查数量为1到29个。该数据集适用于以下用途：LLM系统消息跟随行为的强化学习训练；可验证奖励的强化学习（RLVR）实验，其中奖励衡量对持久系统级约束的遵守程度；当用户请求可能与系统指令冲突时的鲁棒性训练和评估；系统消息遵守的多轮稳定性研究；以及构建与NeMo Gym兼容的系统消息跟随环境。数据集采用Creative Commons Attribution 4.0 International (CC BY 4.0)许可证，允许商业和非商业使用。

Nemotron-RL-SysBench-v1 is a reinforcement learning dataset for instruction-following problems, specifically focusing on scenarios where large language models (LLMs) must adhere to complex instructions in system prompts. The dataset is constructed through a combination of manual collection and synthetic augmentation, formatted to be compatible with the VerifIF Gym environment. It contains 1,010 training samples (file size 25MB) in JSONL format, with each record including core fields such as agent_ref (agent metadata for VerifIF Gym environment), id (numeric example identifier), instructions (structured instruction metadata containing constraint parameters and other information), llm_judge (judge check metadata for automatic evaluation), and responses_create_params (response API-style input payload containing system messages, at least one user message, and optional assistant history messages). During data generation, NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 and Qwen/Qwen3-235B-A22B-Thinking-2507 were used as SDG models, with GPT-5 for data filtering. Each record includes 1 system message, input message lengths ranging from 2 to 20, instruction checks from 0 to 12, and LLM-judge checks from 1 to 29. The dataset is suitable for the following purposes: reinforcement learning training for LLM system message-following behavior; verifiable reward reinforcement learning (RLVR) experiments, where rewards measure adherence to persistent system-level constraints; robustness training and evaluation when user requests may conflict with system instructions; multi-turn stability studies of system message adherence; and building system message-following environments compatible with NeMo Gym. The dataset is licensed under the Creative Commons Attribution 4.0 International (CC BY 4.0) license, permitting both commercial and non-commercial use.

原始信息汇总

数据集概述

Nemotron-RL-SysBench-v1 是一个用于强化学习的英文文本数据集，专注于评估和提升大语言模型（LLM）遵循系统提示中复杂指令的能力。该数据集由 NVIDIA 公司创建，采用 CC BY 4.0 许可证。

---

核心信息

• 数据集名称: Nemotron-RL-SysBench-v1
• 许可证: Creative Commons Attribution 4.0 International (CC BY 4.0)
• 语言: 英语 (en)
• 领域: 指令遵循、系统消息遵循
• 模态: 文本
• 规模: 少于 10,000 条样本
• 数据集配置: 仅包含一个默认配置，训练集存储在 data/train.jsonl 文件中

---

数据构成与生成

• 数据来源: 混合模式，包含人工收集和合成扩增
• 生成方式: 种子数据来自人工收集的指令遵循来源，使用 NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 和 Qwen/Qwen3-235B-A22B-Thinking-2507 作为合成数据生成模型，并使用 GPT-5 进行筛选
• 标注方法: 混合模式，包含人工标注与自动化标注；GPT-5 用于筛选

---

数据集格式

• 格式: JSONL
• 结构: VerifIF Gym 格式的记录，包含以下字段：
  • agent_ref: VerifIF Gym 环境的代理元数据
  • id: 数值型样本标识符
  • instructions: 结构化指令元数据（存在时包含）
  • llm_judge: 评估检查元数据
  • responses_create_params: 类 Responses API 的输入数据，包含系统消息和用户消息，可带有可选的助手历史记录

---

数据量化

子集	样本数	文件大小	备注
训练集 (train)	1,010	25MB	输入消息长度范围 2 到 20 条；包含 1,010 条系统消息；指令检查数量 0 到 12 条/样本；LLM评估检查数量 1 到 29 条/样本

---

预期用途

• 大语言模型在系统消息遵循行为上的强化学习
• 使用可验证奖励的强化学习（RLVR）实验
• 训练和评估模型在用户请求与系统指令冲突时的鲁棒性
• 研究系统消息遵循的多轮稳定性
• 构建 NeMo Gym 兼容的系统消息遵循环境

---

其他信息

• 数据集拥有者: NVIDIA Corporation
• 创建日期: 2026-04-28
• 最后修改日期: 2026-05-21
• 版本: Nemotron-RL-SysBench-v1
• 关联模型发布: Nemotron Ultra

搜集汇总

数据集介绍

构建方式

Nemotron-RL-SysBench-v1数据集专为强化学习场景下的指令跟随任务而构建，其核心设计在于将复杂指令嵌入系统提示中，以考验大语言模型对持久性系统约束的遵循能力。该数据集采用人工采集与合成增强相结合的混合构建策略：种子数据源自人工收集的指令跟随来源，随后借助NVIDIA-Nemotron-3-Nano-30B-A3B-BF16与Qwen/Qwen3-235B-A22B-Thinking-2507作为合成数据生成模型进行规模扩展，最终通过GPT-5进行严格的质量过滤与去噪，确保每条记录具备可靠的验证基准。数据以JSONL格式存储，遵循VerifIF Gym交互框架的schema，每条记录包含系统消息与至少一条用户消息，部分还包括历史助手回复，形成多轮对话结构，为系统消息遵循行为的强化学习训练提供了高质量的数据基础。

特点

该数据集在结构上呈现出鲜明的多维标注特性。每条记录除基本的对话消息外，还配备结构化的指令元数据数组，用于描述约束条件的具体来源、标识与对齐检测属性；同时携带llm_judge裁判检查数组，内含自动化评估所需的判决内容与对齐检测标记，便于实现可验证奖励的强化学习。数据集规模虽仅约千条，但每条样本的输入长度覆盖2至20条消息，指令检查项最多达12项，裁判检查项最多达29项，充分体现了复杂度与密度的平衡。所有任务均聚焦于系统消息跟随能力，即模型需要在潜在与用户请求冲突的情境下，坚定不移地遵循系统层级的约束指令，这一设计使其特别适用于评估与提升大语言模型在多轮交互中的系统遵从稳定性与鲁棒性。

使用方法

该数据集的使用需依托NeMo Gym框架中的VerifIF环境，用户可直接加载训练集JSONL文件，解析每条记录中的agent_ref以初始化智能体元数据，将responses_create_params中的系统与用户消息构造为对话输入，并利用instructions与llm_judge字段作为监督信号与验证基准。对于强化学习训练，可基于llm_judge中的判据设计奖励函数，对模型输出进行自动化评判，从而实施可验证奖励的强化学习。该数据集支持商业与非商业用途，并以Creative Commons Attribution 4.0国际许可协议开放，开发者可将其直接集成至自定义的监督微调或RLVR实验流程中，无需额外授权，适用于研究与产品开发中对系统消息遵循行为的深入探究。

背景与挑战

背景概述

在大型语言模型（LLM）的强化学习训练中，确保模型严格遵循系统级指令（system message）是一项核心挑战。系统提示作为模型行为的持久约束，其遵循能力直接关系到模型在复杂多轮交互中的可靠性与安全性。由NVIDIA Corporation于2026年4月创建的Nemotron-RL-SysBench-v1数据集，旨在解决这一关键问题。该数据集通过混合人工收集与合成增强的方式构建，并借助NVIDIA-Nemotron-3-Nano-30B-A3B-BF16、Qwen/Qwen3-235B-A22B-Thinking-2507等模型进行数据生成，最终经GPT-5严格筛选，形成了面向系统消息遵循任务的高质量强化学习基准。其与NeMo Gym环境的兼容性，使其在RLVR（基于可验证奖励的强化学习）领域中具有重要影响力，为研究用户请求与系统指令冲突下的模型鲁棒性及多轮对话稳定性提供了标准化平台。

当前挑战

该数据集致力于应对领域内两大核心挑战。其一，在问题层面，LLM在复杂、多变的系统指令约束下，常因用户请求与系统提示冲突而产生行为偏差，尤其在多轮交互中，模型对系统级约束的持久遵循能力尚显不足，这成为制约LLM在实际应用中可靠性的关键瓶颈。其二，在构建层面，数据集的创建面临数据多样性、质量与规模的平衡难题。人工收集的数据虽涵盖真实场景，但规模有限；合成增强虽可扩充数据，却可能引入噪声或偏离实际分布。此外，如何设计有效的自动化评估机制（如llm_judge字段）以精确衡量系统消息遵循程度，以及确保过滤流程（如使用GPT-5）不会系统性剔除有价值样本，均是构建过程中需要审慎处理的技术挑战。

常用场景

经典使用场景

Nemotron-RL-SysBench-v1 作为首个专注于系统提示遵循（system-message-following）的强化学习数据集，其最经典的使用场景在于训练大语言模型在复杂多轮对话中精确遵循置于系统提示中的持久性约束指令。该数据集通过 VerifIF Gym 环境提供结构化格式，包含系统消息与用户消息的交替序列，部分样本还涵盖历史助手的应答轨迹，为模型在长程交互中保持对系统规则的一致性响应提供了标准化的训练与评估基准。其教学价值在于推动语言模型从简单的单轮指令遵循向复杂的约束性多轮对话对齐演进。

实际应用

在实际应用层面，该数据集直接服务于需要高度可靠系统行为约束的产业场景，例如智能客服系统、医疗咨询助手、金融合规顾问以及法律文档生成工具。这些场景中，模型必须始终遵守企业设定的安全策略、隐私规范或领域规则，而用户输入可能刻意或无意识地偏离这些要求。通过使用该数据集进行强化学习训练，开发者能够在 NeMo Gym 环境中构建与部署能够稳健抵御越狱攻击、持续遵循复杂系统指令的对话式 AI 系统，显著降低产品部署中的合规与伦理风险。

衍生相关工作

该数据集衍生了一系列具有深远影响的经典工作，包括基于可验证奖励的强化学习方法在系统提示约束领域的系统性探索、多轮对话中对齐稳定性评估基准的构建，以及利用混合数据增强策略提升模型指令遵循泛化能力的研究。NVIDIA 以该数据集为基础发布的 Nemotron Ultra 系列模型展示了其在复杂约束任务上的卓越表现，而后续研究者亦以此为契机，开发了针对系统消息对抗性攻击的防御机制、跨领域系统提示一致性迁移技术，以及结合人工采集与合成数据的低成本高效数据迭代框架，极大地推动了语言模型在安全性对齐领域的发展。