Nemotron-SFT-Safety-v1-prompt-only

Nemotron-SFT-Safety-v1-prompt-only 是一个专门从安全微调数据集 nvidia/Nemotron-SFT-Safety-v1 中提取提示（prompt）部分而创建的数据集。该数据集的核心文件是 `prompts.csv`，它包含了从源数据中提取出的每条提示记录。每条记录主要包含 `prompt`（用户提示）和 `system_prompt`（系统提示）字段。此外，如果源数据行中定义了可用的工具，记录中还会包含结构化的 `tools` 字段，其中的嵌套值以 JSON 格式编码在 CSV 单元格内。数据集还提供了两个辅助文件：`summary.md` 汇总了源数据行数、提取行数、计数差异以及提取失败的提示数量；`null_or_empty_rows.md` 则列出了提示提取结果为 null 或空白的行索引。数据集规模为 45,144 条成功提取的提示记录，有 1 条提取失败的记录，总行数比源数据减少了 1 行。该数据集由 Nemotron 后训练工作流程生成，专注于为大型语言模型的安全对齐、指令微调或提示工程相关任务提供高质量的提示数据。Nemotron-SFT-Safety-v1-prompt-only is a dataset created specifically by extracting the prompt portions from the safety fine-tuning dataset nvidia/Nemotron-SFT-Safety-v1. The core file of this dataset is `prompts.csv`, which contains each extracted prompt record from the source data. Each record primarily includes the `prompt` (user prompt) and `system_prompt` (system prompt) fields. Additionally, if tools are defined in the source data row, the record also contains a structured `tools` field, with nested values encoded in JSON format within the CSV cell. The dataset also provides two auxiliary files: `summary.md` summarizes the source data row count, extracted row count, count differences, and the number of failed prompt extractions; `null_or_empty_rows.md` lists the row indices where prompt extraction resulted in null or empty values. The dataset scale consists of 45,144 successfully extracted prompt records, with 1 failed extraction record, and the total row count is reduced by 1 compared to the source data. This dataset is generated by the Nemotron post-training workflow, focusing on providing high-quality prompt data for tasks related to safety alignment, instruction fine-tuning, or prompt engineering of large language models.

搜集汇总

数据集介绍

构建方式

Nemotron-SFT-Safety-v1-prompt-only数据集是从NVIDIA发布的原始数据集nvidia/Nemotron-SFT-Safety-v1中提取的纯提示版本。构建过程中，通过专门的提示提取器工作流，对原始数据中的每一行记录进行解析，将其中包含的提示词（prompt）、系统提示（system_prompt）以及结构化工具调用信息（tools）分离出来，并以CSV格式存储。所有嵌套结构均通过JSON编码嵌入CSV单元格中，确保了数据结构的完整性和可解析性。最终从45145条源记录中成功提取45144条有效提示，仅1条因提取失败而舍弃。

特点

该数据集的核心特色在于其专注于安全对齐场景下的纯提示数据，剔除了原始数据集中的响应部分，专为后训练阶段的安全微调而设计。每个样本均包含完整的提示上下文，包括系统提示和可选工具定义，为模型提供清晰的行为边界。数据集覆盖广泛的危险类别与对抗性输入场景，有助于增强大语言模型对有害指令的识别与拒答能力。此外，提取过程附带了详细的元数据摘要，便于用户追溯数据质量与缺失情况。

使用方法

用户可直接加载prompts.csv文件进行使用，其中每条记录对应一个独立的提示样本。在训练或微调大语言模型时，可将提示词作为输入，结合系统提示构造完整的对话上下文，引导模型学习安全响应模式。对于包含工具定义的样本，需按JSON解码后恢复原始结构。建议将该数据集与配套的响应数据集或安全评分数据集结合使用，以构建完整的安全对齐训练流程。数据处理时需注意CSV中嵌套字段的解码方式。

背景与挑战

背景概述

Nemotron-SFT-Safety-v1-prompt-only 数据集由 NVIDIA 的研究团队于近期创建，是源自 nvidia/Nemotron-SFT-Safety-v1 的提示词纯提取版本。该数据集聚焦于后训练阶段中模型安全性的微调与对齐，核心研究问题在于如何通过结构化提示词数据增强大语言模型在面对潜在风险指令时的鲁棒性。通过保留系统提示词、工具定义等丰富上下文信息，该数据集为安全对齐研究提供了精细化的训练样本，推动了模型在安全关键场景下的应用边界探索，对提升AI系统的可信赖程度具有显著影响。

当前挑战

该数据集所解决的领域挑战在于，大语言模型在开放式对话中易被诱导生成有害或不当内容，而传统微调数据缺乏对复杂提示结构（如系统角色设定、工具调用约束）的覆盖，导致对齐效果受限。构建过程中，项目团队面临从原始数据中精准提取单一提示词并保留结构化嵌套信息（如JSON字段）的技术难题，同时需处理原始行中提示词为空或无效的异常情况，最终仅出现1条失败记录，展示了数据提取管线的严谨性与高效性。

常用场景

经典使用场景

Nemotron-SFT-Safety-v1-prompt-only数据集的核心用途在于提供经过精心提取的提示（prompt）集合，专门用于语言模型的安全微调与对齐研究。在大型语言模型（LLM）的快速发展浪潮中，确保模型输出符合伦理规范、避免有害内容生成已成为一项关键议题。该数据集聚焦于‘仅提示’（prompt-only）形式，剥离了复杂的上下文交互，使得研究人员能够专注于评估和改善模型对于敏感、危险或不当输入的反应机制。它直接服务于安全指令微调（safety SFT）流程，为构建更负责任的对话系统提供高质量的输入样本。通过这套专门设计的提示，开发者可以系统地检验模型在应对诸如偏见、暴力、非法活动等安全红线时的表现，从而执行有针对性的行为约束。

实际应用

在实际应用中，Nemotron-SFT-Safety-v1-prompt-only为工业级大模型的安全部署提供了直接支撑。企业和开发者可以将其融入模型发布前的红队测试流程，用于自动检测Chatbot、客服助手等产品是否会产生冒犯性、歧视性或欺诈性回复。结合其提取出的系统提示（system_prompt）和结构化工具调用信息，团队能够高效地模拟用户与模型的真实交互，提前定位并修复安全漏洞。该数据集还适用于构建内容安全过滤器——通过分析模型对特定提示的反应，可以提炼出一套精准的输入审核规则。在金融、医疗、教育等高风险领域，这一能力有助于满足合规要求，避免因模型输出不当而引发的声誉风险或法律纠纷。

衍生相关工作

围绕Nemotron-SFT-Safety-v1-prompt-only，学界与业界已衍生出一系列经典工作。最直接的应用是基于该提示集进行深入的安全偏好强化学习，通过对比模型对安全与非安全提示的响应分布，优化奖励模型的对齐精度。研究者还将其用作对抗性提示生成器的训练语料，通过自动改写现有提示来探索模型的安全泛化边界。一些工作进一步将其与多轮对话安全评估结合，从单一提示扩展到上下文互动中的防御策略。此外，该数据集催生了专门的安全诊断工具，如自动化安全扫描流水线，可定时运行提示集并对模型的响应变化进行回归分析。这些衍生研究共同构建了一个以安全提示为核心的技术生态，持续推动着大模型安全性的落地与进化。