Nemotron-RL-Instruction-Following-Free-Form-Formatting-v1

Nemotron-RL-Instruction-Following-Free-Form-Formatting-v1数据集由NVIDIA公司创建，旨在通过强化学习训练模型遵循任意文本格式化指令。该数据集专门用于提升模型在自由形式文本输出中的格式化能力，涵盖多种格式化风格，包括项目符号/列表格式化、编号列表格式化、标题格式化、表格格式化、分隔符/分隔线格式化、内联文本格式化、键值对格式化、网页风格章节/步骤格式化以及混合格式化约束。数据集采用合成方法生成，标注方式为混合（合成与自动）模式，数据模态为纯文本，存储格式为JSONL。数据集规模为9,037个样本，总大小约为42.47 MB，包含九个按格式化类型划分的子集，各子集样本数量在164至1,664之间。数据集适用于文本生成任务，尤其侧重于指令遵循和格式化输出的强化学习训练。数据集基于CC BY 4.0许可证发布，可供商业或非商业用途。The Nemotron-RL-Instruction-Following-Free-Form-Formatting-v1 dataset is created by NVIDIA and aims to train models to follow arbitrary text formatting instructions through reinforcement learning. It is specifically designed to enhance the models formatting capabilities in free-form text output, covering various formatting styles, including bullet/list formatting, numbered list formatting, heading formatting, table formatting, separator/divider formatting, inline text formatting, key-value pair formatting, web-style section/step formatting, and mixed formatting constraints. The dataset is generated synthetically, with a hybrid (synthetic and automatic) annotation approach, data modality as plain text, and storage format as JSONL. The dataset size is 9,037 samples, with a total size of approximately 42.47 MB, containing nine subsets divided by formatting type, each with sample counts ranging from 164 to 1,664. It is suitable for text generation tasks, particularly focusing on reinforcement learning training for instruction following and formatted output. The dataset is released under the CC BY 4.0 license, available for both commercial and non-commercial use.

原始信息汇总

数据集概述

• 数据集名称: Nemotron-RL-Instruction-Following-Free-Form-Formatting-v1
• 数据集拥有者: NVIDIA Corporation
• 创建日期: 2026年4月10日（创建及最后修改）
• 许可证: CC BY 4.0（商业及非商业用途均可）
• 语言: 英文
• 数据类型: 文本
• 格式: JSONL（文本 + 元数据）

数据规模

• 总样本数: 9,037
• 总大小: 42.47 MB（0.042 GB）
• 数量分类: 1K < n < 10K

子集分布

子集	样本数	占比	大小
混合格式约束	1,664	18.4%	8.01 MB
项目符号/列表格式	1,426	15.8%	6.50 MB
网页风格章节/步骤	1,371	15.2%	6.29 MB
键值格式	1,350	14.9%	6.42 MB
编号列表格式	1,295	14.3%	6.14 MB
标题格式	869	9.6%	4.21 MB
表格格式	476	5.3%	2.24 MB
分隔符/分离符格式	422	4.7%	1.92 MB
内联文本格式	164	1.8%	0.75 MB

数据收集与标注

• 数据收集方法: 合成
• 标注方法: 混合（合成 + 自动）

用途与任务

• 任务类别: 文本生成
• 预期用途: 用于强化学习训练，提升模型遵循指令的能力，尤其是在自由格式文本的输出格式化方面
• 标签: 强化学习、多种格式化约束、项目符号/列表格式化、网页风格章节/步骤、键值格式化、编号列表格式化、标题格式化、表格格式化、分隔符/分离符格式化、内联文本格式化、文本、Nemo Data Designer、合成、Nemotron_3_Ultra

奖励信号机制

• 使用显式的正则表达式和字符串匹配作为奖励信号，训练模型遵循任意的文本格式化指令（如项目符号样式、编号、分隔符、标题格式、内联强调、网页答案结构等）。

参考

• NeMo-Gym 配置: https://github.com/NVIDIA-NeMo/Gym/blob/main/resources_servers/format_verification/configs/freeform_formatting.yaml

伦理考量

• NVIDIA 倡导可信赖的人工智能，并已建立相关政策与实践。开发者应与内部团队协作，确保该数据集满足相关行业和用例的要求，并防范产品误用。

搜集汇总

数据集介绍

构建方式

该数据集由NVIDIA Corporation于2026年4月通过合成方式构建，采用混合标注策略，融合了自动化流程与人工规则。其核心构建机制围绕多样的格式约束指令展开，旨在训练模型遵循自由形式的文本格式化要求。数据集的奖励信号基于显式的正则表达式与字符串匹配技术，以确保对格式遵循度的精准评估。

特点

该数据集涵盖九大格式化约束子集，包括混合格式约束、项目符号列表、网页式章节、键值对、编号列表、标题格式、表格、分隔符及内联文本格式，总计9,037个样本。各子集样本量从164到1,664不等，展现了从简单内联强调到复杂表格结构的多样化格式挑战，特别适用于强化学习中的指令遵循能力训练。

使用方法

该数据集采用JSONL格式，包含文本及元数据字段，适用于文本生成任务。使用时，可将其作为强化学习训练数据，通过Nemo-Gym框架的格式验证配置（详见GitHub仓库）进行集成。用户需加载数据后结合格式验证服务器，利用正则表达式奖励信号优化模型对自由文本输出格式的遵循能力，适用于商业或非商业场景。

背景与挑战

背景概述

Nemotron-RL-Instruction-Following-Free-Form-Formatting-v1数据集由NVIDIA Corporation于2026年4月10日创建，专注于强化学习中的指令遵循能力，尤其在自由文本格式输出方面。该数据集涵盖混合格式约束、项目符号/列表、网页风格章节/步骤、键值对、编号列表、标题、表格、分隔符及内联文本格式等多种格式化类型，共包含9,037个样本。其核心研究问题是如何通过显式正则表达式和字符串匹配作为奖励信号，引导模型遵循多种文本格式指令，从而提升在对话行为中的格式控制能力。作为NVIDIA Nemotron系列的一部分，该数据集填补了强化学习中格式遵循训练的空白，对提升大语言模型在真实场景中的结构化输出能力具有重要影响力。

当前挑战

该数据集面临的主要挑战包括：首先，多样化格式指令的奖励信号设计极具难度，需依赖精确的正则表达式和字符串匹配来定义不同格式要求，稍有不慎便会导致歧义或错误奖励。其次，合成数据的真实性与泛化能力有限，9,037个样本的规模难以覆盖实际应用中的格式多样性，且可能引入模型对合成格式模式的过度拟合。此外，构建过程中对格式的精确标注和自动验证存在技术瓶颈，例如表格和分隔符格式的边界界定复杂，易产生标注不一致问题。最后，指令遵循的强化学习训练易陷入奖励稀疏或欺骗性行为，即模型可能通过简单模式满足格式要求而忽略语义正确性，这需要持续优化奖励机制以平衡格式与内容质量。

常用场景

经典使用场景

在自然语言处理与生成式大语言模型的训练范式中，指令跟随能力决定了模型从工具性助手蜕变为智能对话主体的关键跃迁。该数据集专为强化学习阶段设计，聚焦于文本格式的精细控制，通过混合约束策略，涵盖子弹列表、编号序列、网页风格节段、键值对、表格、分隔符及内联排版等十余种自由格式变体，旨在塑造模型对任意格式指令的精准响应能力。其典型使用是为偏好对齐或RLHF流程提供高结构化的奖励信号源，借助正则表达式与字符串匹配实现格式遵循度的客观判定，从而驱动模型在保持语义连贯的前提下，输出符合用户显式格式约定的文本。

衍生相关工作

该数据集衍生出一系列围绕格式强化学习的经典工作。一方面，其基于正则与字符串匹配的奖励机制启发研究者将其与更细粒度的语义格式评分函数（如基于解析树的层级结构校验）融合，形成深度格式化对齐方法。另一方面，该数据集的分类子集与Nemo-Gym框架的配置文件被广泛复用，用于构建可适配多种语言模型的后训练精调流程，催生了诸如多约束格式蒸馏、增量式格式课程学习等训练策略。此外，部分工作还将其与低秩适配微调（LoRA）相耦合，在保持基座模型通用能力的前提下，针对性提升特定格式（如表格、列表）的输出保真度，推动了可控文本生成方向在工业部署中的落地实践。

数据集最近研究

最新研究方向

在指令跟随与自由文本格式控制的前沿研究中，Nemotron-RL-Instruction-Following-Free-Form-Formatting-v1数据集专为强化学习训练而设计，聚焦于提升模型对复杂文本格式指令的精确遵循能力。该数据集由英伟达采用合成与自动标注技术构建，涵盖子弹列表、网页式章节、键值对及表格等九类格式化约束，共计9,037个样本。其核心创新在于通过显式正则表达式与字符串匹配构建奖励信号，为当前大语言模型在结构化输出、可读性优化及多格式混合场景下的鲁棒性研究提供了关键支撑。这一方向与AI生成内容规范化、文档自动化及交互式系统等热点紧密关联，推动了模型从语义理解向格式表达融合的纵深发展。