Nemotron-RL-Safety-v1-prompt-only

Nemotron-RL-Safety-v1-prompt-only数据集是从源数据集nvidia/Nemotron-RL-Safety-v1中专门提取的仅包含提示（prompt-only）的子集。该数据集旨在提供经过整理的提示文本，适用于需要纯提示数据进行模型微调、评估或安全对齐研究的场景。数据集核心文件为prompts.csv，其中每条记录包含提取的prompt文本、分离的system_prompt以及当源数据定义可用工具时的结构化tools信息（嵌套值以JSON格式编码在CSV单元格内）。此外，数据集还包含summary.md（统计摘要，包括源行计数、提取行计数、计数差异和失败提示计数）和null_or_empty_rows.md（记录提示提取结果为空的索引）。数据集规模为89066条有效提取行，2条失败提示行，总行数较源数据集减少2条。该数据集通过Nemotron Post-Training v3提示提取器工作流生成并上传。The Nemotron-RL-Safety-v1-prompt-only dataset is a prompt-only subset specially extracted from the source dataset nvidia/Nemotron-RL-Safety-v1. This dataset aims to provide curated prompt texts, suitable for scenarios where pure prompt data is required for model fine-tuning, evaluation, or safety alignment research. The core file of the dataset is prompts.csv, where each record contains the extracted prompt text, the separated system_prompt, and structured tools information when the source data defines available tools, with nested values encoded in JSON format within the CSV cells. In addition, the dataset also includes summary.md, a statistical summary covering source row count, extracted row count, count difference and failed prompt count, and null_or_empty_rows.md, which records the indices of prompts with empty or null extraction results. The dataset has 89,066 valid extracted rows and 2 failed prompt rows, with the total number of rows being 2 less than that of the source dataset. This dataset was generated and uploaded via the Nemotron Post-Training v3 Prompt Extractor workflow.

搜集汇总

数据集介绍

构建方式

在安全对齐领域，高质量提示数据是强化学习训练的关键基础。Nemotron-RL-Safety-v1-prompt-only数据集源自NVIDIA发布的Nemotron-RL-Safety-v1原始数据集，经由后训练阶段的提示提取流程精心处理而成。该数据集通过自动化提取工具，对源数据中的提示字段进行结构化解析，将每条记录分解为独立的prompt、system_prompt以及结构化tools信息，其中嵌套的复杂数据结构以JSON格式编码于CSV单元格内，从而确保数据的完整性与可复用性。最终构建出包含89,066条有效提示的纯净子集，仅有两行因提取失败被剔除，体现了极高的处理精度与数据筛选质量。

特点

该数据集最显著的特点在于其专为安全强化学习场景设计的专注性。作为仅包含提示的轻量化版本，它剥离了原始数据中的冗余信息，聚焦于模型输入端的标准化构建，为研究者提供了清晰、统一且可直接使用的提示模板。每条记录都保留了系统提示与工具调用结构，这使得数据集不仅可用于基础安全对齐训练，更能支撑涉及多轮交互与外部工具调用的复杂场景评估。89,066条的高样本容量与极低的提取失败率，共同造就了该数据集在规模与质量上的双重优势。

使用方法

使用该数据集时，研究者可直接加载prompts.csv文件，通过标准CSV解析工具读取prompt、system_prompt及tools字段。tools列中的JSON编码内容需借助json库进行反序列化以获得结构化工具定义。该数据集适用于安全强化学习中的奖励模型训练与策略优化，可将其作为提示输入，结合目标模型生成响应，进而评估模型在安全约束下的行为表现。此外，system_prompt字段可灵活配置系统级指令，tools字段则用于模拟具备外部调用能力的智能体环境，支持从简单提示匹配到复杂任务链对齐的多样化实验设置。

背景与挑战

背景概述

在大型语言模型的后训练阶段，安全对齐已成为确保模型行为符合人类价值观的关键环节。Nemotron-RL-Safety-v1-prompt-only数据集由NVIDIA研究团队于近期发布，旨在从原始的多轮对话数据集中提取并整理出高质量的提示文本，为强化学习安全对齐提供纯净的输入源。该数据集聚焦于模型在生成响应前所接收到的用户提示与系统提示，剥离了工具调用等复杂结构，从而更精准地评估和训练模型在安全相关场景下的决策能力。作为Nemotron系列后训练流程的一部分，这一数据集为安全对齐研究提供了标准化、可复现的测试与训练基础，推动了该领域向更细粒度、更可控的方向发展。

当前挑战

数据集构建与使用面临多重挑战。在领域问题层面，安全对齐本身涉及对抗性攻击、伦理边界模糊及上下文依赖的毒性检测，单一提示集难以覆盖所有风险场景，模型易在未见过的提示形式上产生不安全响应。构建过程中，从原始对话记录中提取纯净提示具有技术难度，需处理嵌套工具调用、多轮上下文歧义及非结构化边界识别，导致约0.002%的提示提取失败。此外，提示与系统提示分离需保持语义完整性，避免丢失安全关键上下文，这对划分算法的鲁棒性提出严苛要求。

常用场景

经典使用场景

Nemotron-RL-Safety-v1-prompt-only 数据集源自 NVIDIA 发布的 Nemotron-RL-Safety-v1，专注于为强化学习中的安全对齐研究提供高质量提示。该数据集剔除了原始数据中的响应部分，仅保留提示文本、系统提示及结构化工具信息，共计约 8.9 万条记录。其经典使用场景在于作为安全强化学习训练中的提示库，用于评估和提升语言模型在面对潜在风险或不当请求时的安全性表现。研究者常利用该数据集构建对抗性提示集，以测试模型的安全防御机制

解决学术问题

该数据集有效解决了学术界在语言模型安全对齐研究中长期面临的提示数据稀缺和来源单一问题。通过提供大规模、多样化且经过结构化清理的提示集合，Nemotron-RL-Safety-v1-prompt-only 使得研究者能够系统性地探索模型在应对恶意查询、偏见植入或工具滥用时的行为模式。其意义在于推动了红队测评和安全强化学习方法的标准化，为构建更鲁棒的对话系统奠定了数据基础，并促进了关于安全奖励模型与策略优化算法的实证比较

衍生相关工作

该数据集推动了多项衍生研究工作，包括但不限于基于提示聚类中的安全风险分类模型训练、针对特定系统提示的越狱攻击模式挖掘，以及结合工具定义的多轮对话安全基准构建。研究者还利用其结构化设计，发展出高效的提示筛选与增强算法，用于生成更具挑战性的对抗样本。这些衍生工作共同扩展了安全对齐研究的技术边界，使得从单一提示到复杂交互场景的安全评估体系日益完善