Nemotron-RL-CFBench-v1

Nemotron-RL-CFBench-v1是一个用于指令遵循问题的强化学习数据集，重点关注大型语言模型能否满足显式约束。该数据集采用手动收集和合成增强的方式构建，并格式化为VerifIF Gym环境兼容的结构。数据集支持英语、阿拉伯语、印地语、中文、日语和韩语六种语言，模态为纯文本，格式为JSONL。数据集包含1,121个训练样本，文件大小为25MB。每个样本的输入消息长度范围为2到20条，指令检查数量为每记录3到16个，LLM-judge检查数量为每记录1到7个。数据集的种子数据来自手动收集的指令遵循来源，使用NVIDIA-Nemotron-3-Nano-30B-A3B-BF16和Qwen/Qwen3-235B-A22B-Thinking-2507作为SDG模型，并采用GPT-5进行过滤和标注。数据集采用VerifIF Gym模式，包含以下顶级字段：agent_ref（VerifIF Gym环境的智能体元数据）、id（数字示例标识符）、instructions（结构化指令元数据，包含uid、source、instruction_id、is_misalignment_check以及任务特定的约束参数如关键词等）、llm_judge（法官检查，包含uid、source、content和is_misalignment_check）、responses_create_params（包含系统/用户消息及可选助手历史记录的Responses API风格输入负载）。该数据集适用于：LLM在复杂约束遵循提示上的强化学习、具有可验证奖励的强化学习实验、训练和评估模型对多个同时用户约束的鲁棒性、研究模型在具有格式、关键词、场景等约束类型提示上的行为，以及构建NeMo Gym兼容的约束遵循环境。数据集采用Creative Commons Attribution 4.0 International许可证，允许商业和非商业使用。

Nemotron-RL-CFBench-v1 is a reinforcement learning dataset designed for instruction-following tasks, focusing on the ability of large language models (LLMs) to comply with explicit constraints. This dataset is constructed through manual collection and synthetic augmentation, and formatted to be compatible with the VerifIF Gym environment. It supports six languages: English, Arabic, Hindi, Chinese, Japanese, and Korean, with pure text modality and stored in JSONL format. The dataset contains 1,121 training samples with a total file size of 25 MB. For each sample, the length of input messages ranges from 2 to 20, with 3 to 16 instruction checks and 1 to 7 LLM-judge checks per record. The seed data of the dataset originates from manually collected instruction-following sources. We employ NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 and Qwen/Qwen3-235B-A22B-Thinking-2507 as SDG models, and use GPT-5 for filtering and annotation. Following the VerifIF Gym schema, the dataset includes the following top-level fields: agent_ref (agent metadata for the VerifIF Gym environment), id (numeric example identifier), instructions (structured instruction metadata containing uid, source, instruction_id, is_misalignment_check, and task-specific constraint parameters such as keywords), llm_judge (judge checks containing uid, source, content and is_misalignment_check), and responses_create_params (Responses API-style input payload containing system/user messages and optional assistant history records). This dataset is applicable to reinforcement learning of LLMs on complex constraint-following prompts, reinforcement learning experiments with verifiable rewards, training and evaluating model robustness against multiple simultaneous user constraints, investigating model behaviors on prompts with constraints such as format, keywords and scenarios, and building constraint-following environments compatible with NeMo Gym. The dataset is released under the Creative Commons Attribution 4.0 International license, permitting both commercial and non-commercial use.

原始信息汇总

数据集概述：Nemotron-RL-CFBench-v1

• 发布方：NVIDIA Corporation
• 许可证：Creative Commons Attribution 4.0 International (CC BY 4.0)
• 创建日期：2026年4月28日
• 最后修改日期：2026年5月21日
• 版本：Nemotron-RL-CFBench-v1（无先前版本）
• 语言：英语（en）、阿拉伯语（ar）、印地语（hi）、中文（zh）、日语（ja）、韩语（ko）
• 模态：文本
• 领域：指令遵循、约束遵循
• 能力分布：约束遵循 100%
• 数据来源：混合（人工收集 + 合成扩充）
• 规模：<10K 样本

数据集描述

Nemotron-RL-CFBench-v1 是一个面向强化学习的指令遵循数据集，核心关注大语言模型（LLM）是否能够满足显式约束条件。种子数据来自人工收集的指令遵循来源，并使用 NVIDIA-Nemotron-3-Nano-30B-A3B-BF16 和 Qwen/Qwen3-235B-A22B-Thinking-2507 作为合成数据生成（SDG）模型，GPT-5 用于过滤。数据集格式化为 VerifIF Gym 环境，适用于商业或非商业用途。

预期用途

• 在复杂约束遵循提示上对 LLM 进行强化学习
• 使用可验证奖励（RLVR）进行实验，奖励衡量对细粒度指令条件的满足程度
• 训练和评估模型对多个同时存在的用户约束的鲁棒性
• 研究模型在包含格式、关键词、场景等约束类型提示上的行为
• 构建兼容 NeMo Gym 的约束遵循环境

数据集构成与生成

• 问题来源：人工收集 + 合成扩充，任务聚焦于约束满足
• 策展与过滤：使用 GPT-5 进行策展和过滤
• 数据收集方法：混合（人工收集、合成）
• 标注方法：混合（人工标注、自动化，GPT-5 用于过滤）

数据集字段

采用 Ultra-format JSONL 格式，每条记录包含以下顶层字段：

• agent_ref：VerifIF Gym 环境的智能体元数据，记录使用 responses_api_agents/verifif_simple_agent
• id：数字样例标识符
• instructions：结构化指令元数据，包含 uid、source、instruction_id、is_misalignment_check 以及任务特定的约束参数（如关键词）
• llm_judge：评判检查项，包含 uid、source、content 和 is_misalignment_check
• responses_create_params：类 Responses API 的输入负载，包含系统/用户消息以及可选的助手历史消息

数据集量化

子集	样本数	文件大小	备注
train	1,121	25MB	输入长度范围为 2 到 20 条消息；指令检查项每条记录 3 到 16 个；LLM 评判检查项每条记录 1 到 7 个

数据集格式

• 格式：JSONL
• 结构：VerifIF Gym 记录，包含智能体元数据、Responses API 风格的系统/用户消息（可选助手历史）、结构化指令元数据和 LLM 评判检查项

伦理考量

NVIDIA 倡导可信赖的 AI，并已建立政策和实践以支持广泛 AI 应用的开发。开发者应与其内部团队协作，确保该数据集满足相关行业和用例的要求，并应对潜在的误用风险。质量问题、安全漏洞或 NVIDIA AI 相关问题可向 NVIDIA 提交报告。

搜集汇总

数据集介绍

构建方式

Nemotron-RL-CFBench-v1是一个专为强化学习设计的指令遵循数据集，聚焦于评估大语言模型对显式约束条件的满足能力。该数据集采用人工采集与合成增强的混合构建策略，种子数据源自人工收集的指令遵循任务，并借助NVIDIA-Nemotron-3-Nano-30B-A3B-BF16与Qwen/Qwen3-235B-A22B-Thinking-2507作为合成数据生成模型进行扩充，最后通过GPT-5进行严格筛选以保障质量。数据以VerifIF Gym架构存储，每条记录均包含系统消息、用户消息（可含历史助手消息）、结构化指令元数据及裁判检查项，全面描述待验证的约束条件。

特点

该数据集兼具多语言支持与结构化验证特性，涵盖英语、阿拉伯语、印地语、中文、日语及韩语六种语言，满足全球化应用场景需求。其核心特点在于100%聚焦约束遵循能力，每条样本包含3至16项指令检查及1至7项裁判检查，从格式化要求、关键词匹配到场景约束等多个维度衡量模型表现。数据规模虽仅1,121条，但输入长度跨度从2到20条消息不等，复杂度适中，特别适合用于细粒度奖励信号的强化学习实验。

使用方法

数据集可直接用于构建NeMo Gym兼容的约束遵循环境，开发者可通过加载默认配置下的训练集（data/train.jsonl）启动强化学习流程。应用场景涵盖基于可验证奖励的强化学习实验，其中奖励信号由裁判检查项自动判定约束满足程度；亦适用于多约束共存的鲁棒性训练，以及分析模型在不同约束类型下的行为特征。数据采用CC BY 4.0许可协议，支持商业及非商业用途，便于研究社区复现与拓展。

背景与挑战

背景概述

随着大型语言模型（LLM）在多轮对话和指令遵循任务中的广泛应用，如何确保模型能够严格满足用户提出的显式约束条件成为一个核心研究问题。Nemotron-RL-CFBench-v1数据集由英伟达（NVIDIA Corporation）于2026年4月创建，是一个专注于约束遵循的强化学习（RL）数据集。该数据集基于人工收集的种子数据，结合合成数据增强与GPT-5过滤，并遵循VerifIF Gym环境格式，旨在为LLM提供复杂的约束遵循训练与评估基准。其发布标志着RLVR（基于可验证奖励的强化学习）范式的深化，对推动模型鲁棒性、指令精确性及多约束场景下的行为研究具有重要影响力。

当前挑战

该数据集核心解决的领域问题在于LLM对精细多约束指令的准确遵循能力不足，特别是面对格式、关键词、场景等混合约束时，模型常出现遗漏或矛盾行为。构建过程中面临双重挑战：其一，人工收集的种子数据规模有限（仅1121条样本），如何通过合成数据有效扩展覆盖多样性而不引入噪声；其二，利用GPT-5进行过滤与标注时，需平衡自动化效率与判断准确性，避免语义偏差或过度过滤，同时维护多语种（含阿拉伯语、印地语等）约束的一致性。这些挑战直接影响数据集的复杂平衡性与泛化能力。

常用场景

经典使用场景

在强化学习与自然语言处理交叉领域，Nemotron-RL-CFBench-v1被精心设计为一款评估与训练大语言模型（LLM）遵循复杂约束指令能力的基准数据集。其核心使用场景聚焦于多约束条件下的指令遵循任务，要求模型在单一交互中同时满足多条显式约束，如格式限制、关键词嵌入、场景规范等。该数据集采用VerifIF Gym环境格式，集成了可验证奖励（RLVR）机制，使得研究人员能够通过细粒度的奖励函数精确衡量模型对每个约束的满足程度，从而推动基于奖励信号的强化学习训练流程不断优化。

实际应用

在实际产业落地中，Nemotron-RL-CFBench-v1为构建高可靠性智能助手和任务导向型对话系统提供了关键支撑。例如在客服场景中，模型需要同时遵循品牌用语规范、安全合规要求以及用户个性化偏好等多重约束；在内容生成工具中，系统需确保输出符合格式限定、禁止词过滤与主题锁定等条件。利用该数据集训练的模型能够更精准地执行此类多维度指令，减少因约束遗漏导致的错误响应，从而提升用户信任度与系统可用性。此外，其多语言（涵盖英、阿、印地、中、日、韩）特性使其在全球化部署场景中具有天然优势。

衍生相关工作

该数据集的发布催生了一系列围绕约束遵循能力的学术探索与工具开发。基于其VerifIF Gym环境，研究者衍生出可扩展的奖励函数设计范式，提出了面向多约束场景的分层验证策略。NeMo Gym生态中涌现了专门用于约束导向强化学习的训练管线，部分工作进一步将Nemotron-RL-CFBench-v1与偏好对齐方法（如RLHF）结合，探索约束满足与人类价值观一致性之间的协同效应。此外，以该数据集为测试床的工作开始系统揭示大型模型在细粒度约束响应中的失败模式，推动了后续可解释性分析与稳健性增强研究的深化。