Nemotron-SFT-Safety-v2

Nemotron-SFT-Safety-v2 是一个用于提升大语言模型安全对齐性的监督微调数据集，核心目标是增强模型抵御各种安全与安保威胁的鲁棒性。数据集由两部分构成：1) 一个混合了开源收集与合成生成的提示词集合，旨在引发不同的模型漏洞；2) 合成生成的响应，旨在引导模型行为符合安全对齐的价值观，并增强模型应对广泛潜在攻击向量的能力。此外，数据集包含英文子集到六种其他语言（德语、西班牙语、法语、日语、意大利语、中文）的翻译，形成多语言子集，翻译过程通过回译和语义相似度筛选保证质量，每种语言保留约15,000个样本。英文提示词来源多样，包括开源数据集（如Nemotron Content Safety Dataset v2、Gretel Safety Alignment Dataset v1、HarmfulTasks）和多个合成生成的提示词类别（如对比安全提示词、越狱鲁棒性数据等）。响应生成采用两阶段机制，将最终响应生成与推理轨迹生成解耦，以确保响应与安全行为准则对齐，所有样本在整合前经过完整性过滤器（如安全检查、身份检查）。数据集总计约130,350个样本，其中英文子集约43,521个样本，多语言子集约86,829个样本（每种语言约14,500个），数据以JSONL格式存储，模态为纯文本。适用于社区进行模型的监督微调，以提升模型在多个安全维度上的对齐性，包括恰当回应有害请求、抵御越狱策略和网络安全攻击、抵消过度安全倾向、缓解偏见输出和减轻版权内容泄露。该数据集是Nemotron-SFT-Safety-v1的直接替代版本，新增了多语言子集，遵循CC BY 4.0、Apache 2.0和MIT许可证，可用于商业或非商业用途。Nemotron-SFT-Safety-v2 is a supervised fine-tuning dataset designed to enhance the safety alignment of large language models, with the core goal of improving model robustness against various security and safety threats. The dataset consists of two parts: 1) a mixed collection of open-source and synthetically generated prompts aimed at eliciting diverse model vulnerabilities; 2) synthetically generated responses intended to guide model behavior in line with safety-aligned values and enhance the models ability to handle a wide range of potential attack vectors. Additionally, the dataset includes translations of the English subset into six other languages (German, Spanish, French, Japanese, Italian, Chinese), forming a multilingual subset. The translation process uses a sentence-splitting pipeline with back-translation and semantic similarity filtering (threshold 0.8) to ensure quality, retaining approximately 15,000 samples per language. English prompts are sourced from diverse origins, including open-source datasets (e.g., Nemotron Content Safety Dataset v2, Gretel Safety Alignment Dataset v1, HarmfulTasks) and multiple synthetically generated prompt categories (e.g., contrastive safety prompts, jailbreak robustness data, latent injection resilience data). Response generation employs a carefully designed two-stage mechanism that decouples final response generation from reasoning trajectory generation to ensure alignment with safety guidelines, with all samples filtered through integrity checks (e.g., safety, identity, API key leakage) before integration. The dataset totals approximately 130,350 samples, with the English subset containing about 43,521 samples and the multilingual subset about 86,829 samples (roughly 14,500 per language). Data is stored in JSONL format and is text-only. It is suitable for community use in supervised fine-tuning to improve model alignment across safety dimensions, such as appropriately responding to harmful user requests, resisting jailbreak strategies and cyber attacks, mitigating over-safety tendencies, reducing biased outputs, and preventing leakage of copyrighted content. This dataset is a direct replacement for the previously released Nemotron-SFT-Safety-v1, adding the multilingual subset, and is licensed under CC BY 4.0, Apache 2.0, and MIT for both commercial and non-commercial use.

原始信息汇总

数据集概述

Nemotron-SFT-Safety-v2 是一个为增强大型语言模型安全性与鲁棒性而设计的监督微调（SFT）数据集，支持商业或非商业用途。该数据集混合了开源与合成生成的提示（prompts）以及合成生成的响应，旨在对齐模型行为，抵御多种安全与攻击向量。

数据构成

• 英语子集：约45,000个样本，与前一版本（Nemotron-SFT-Safety-v1）相同。
• 多语言子集：新增六种语言的翻译版本（德语、西班牙语、法语、日语、意大利语、中文），每种语言约15,000个样本，总计约86,829个样本。
• 总体规模：约130,350个样本，总磁盘大小约650MB。

英语子集详情

英语子集由以下部分组成：

提示来源	样本数量
内容安全（Nemotron Content Safety v2, Gretel Safety Alignment v1, sdg_sensitive_categories）	24,752
越狱攻击鲁棒性（HarmfulTasks, sdg_jailbreaks, sdg_latent_injection）	8,963
过度拒绝鲁棒性（sdg_oversafety）	6,896
人口统计偏见缓解（sdg_bias_mitigation）	2,000
敏感内容泄露缓解（sdg_leakreplay）	910
英语子集总计	43,521

多语言子集详情

英语子集经过翻译、过滤（语义相似度低于0.8的示例被移除）及分层抽样后，生成以下语言版本：

语言	样本数量
德语（de）	14,474
西班牙语（es）	14,451
法语（fr）	14,497
意大利语（it）	14,459
日语（ja）	14,494
中文（zh）	14,454
多语言子集总计	86,829

数据格式

• 模态：文本
• 格式：JSONL（每行一个JSON对象）
• 结构：包含文本与元数据

预期用途

该数据集旨在通过监督微调改善模型在以下方面的对齐表现：

1. 对有害请求（如自残、暴力、犯罪计划、CSAM等）做出适当响应。
2. 抵御常见越狱策略、网络攻击或红队测试。
3. 通过对比性硬负样本（结构与有害请求相似但语义不同）纠正模型的过度安全倾向。
4. 缓解基于年龄等维度的歧视性输出。
5. 减少潜在版权内容的泄露。

关键伦理与许可信息

• 数据集创建者：NVIDIA Corporation
• 创建日期：2026年3月15日
• 许可协议：Creative Commons Attribution 4.0 International License (CC BY 4.0)；附加许可包括Apache 2.0和MIT。
• 数据收集方法：混合方式（人工、合成与自动化）。
• 标注方法：混合方式（人工、合成与自动化）。

搜集汇总

数据集介绍

构建方式

Nemotron-SFT-Safety-v2 数据集旨在提升大语言模型在安全与伦理维度的鲁棒性。其构建融合了开源数据与合成数据：首先从多个源头汇集涉及内容安全、越狱攻击、过度安全拒绝等风险的高质量提示（prompts），包括Nemotron Content Safety Dataset v2、Gretel Safety Alignment Dataset v1、HarmfulTasks等公开数据集，以及通过合成技术生成的用于缓解过安全、偏见、版权泄露等问题的专用提示。其次，采用两阶段响应生成机制，先在不包含潜在恶意指令的提示下生成纯粹的助益性回答，再在含有恶意指令的提示下生成明确的推理轨迹，从而在保留回答实用性的同时，确保模型在推理中合理拒绝对恶意指令的响应。最终，所有样本经过严格的质量过滤，包括安全审查、身份验证与数据完整性检查，以保障高质量输出。

特点

该数据集的核心特点在于规模与多语言覆盖的卓越平衡。包含约130,350条样本，其中英语子集约45,000条，涵盖内容安全、越狱防御、过安全规避、偏见缓解、版权保护五大核心安全维度，每类均经过精细的提示设计与响应生成。多语言拓展是其亮点：通过句级流水线翻译与反向翻译语义相似度过滤（阈值0.8），将英语子集转化为德语、西班牙语、法语、日语、意大利语、中文六个语言版本，每语言保留约15,000条样本，过滤后再经分层抽样确保语种间分布均衡。此外，创新性的两阶段推理生成策略使安全原则内嵌于推理轨迹中，实现了响应实用性与安全对齐的有机统一。

使用方法

该数据集专为监督微调（SFT）阶段设计，可直接用于提升语言模型的多维安全对齐能力。使用时，将JSONL格式数据加载至训练流程，每条样本包含提示（prompt）与安全对齐的黄金回答（response），适用于文本生成任务。开发者可针对特定场景选取子集：如需要增强越狱防御，可侧重使用无害任务与合成越狱提示类别的样本；若需缓解多语言安全风险，可直接调用翻译验证的子集。推荐在微调后将模型部署至安全评测框架，结合内容安全分类器评估鲁棒性改进效果。数据集遵循CC BY 4.0协议，允许商业与非商业用途，但应结合具体行业需求进行合规性审查。

背景与挑战

背景概述

Nemotron-SFT-Safety-v2数据集由英伟达公司于2026年3月创建，旨在解决大语言模型在安全与对齐方面的核心难题。随着大语言模型在广泛应用中的部署，模型易受越狱攻击、内容泄露、偏见输出等安全漏洞影响，传统的对齐方法往往在鲁棒性和泛化能力上存在不足。该数据集融合了开源采集与合成生成的提示和响应，覆盖从自我伤害、暴力、犯罪规划到版权内容泄漏等多维度安全风险，并通过多语言翻译扩展了其适用性。作为Nemotron-SFT-Safety-v1的直接升级版，该数据集不仅在规模上达到了约13万条样本，还在响应生成机制上创新性地采用两阶段解耦策略，将推理轨迹与最终响应分离，从而强化模型的理性思考能力和安全对齐效果。其发布为社区提供了高质量的安全微调资源，对推动大语言模型的可信人工智能发展具有重要影响。

当前挑战

该数据集面临的挑战主要体现在两个层面。在领域问题层面，大语言模型面临的安全威胁日益复杂，包括源自精心设计的越狱提示、潜在提示注入、偏见输出以及版权内容泄漏等攻击向量，这些攻击往往能够绕过传统安全过滤器，导致模型生成有害或不当内容。传统对齐方法常陷入过度安全与拒绝的极端，或无法兼顾多语言环境下的安全性。在构建过程中，数据集的创建需应对多源异构数据的融合难题，例如从不同开源数据集中提取提示并重生成响应，需确保响应质量与安全原则的一致；多语言翻译环节需克服语义保真度与跨文化敏感性的双重挑战，通过回译过滤和人工抽检来剔除低质量翻译，但过滤过程可能导致约10-15%的样本损失；此外，最终样本需经过严格的LLM与正则表达式混合质量检查，涵盖安全、身份、API密钥泄露及数据完整性等多条过滤维度，这进一步增加了数据集构建的复杂性与质量控制难度。

常用场景

经典使用场景

Nemotron-SFT-Safety-v2数据集的核心价值在于为大语言模型提供高质量的监督微调（SFT）数据，以增强模型在多维度安全与鲁棒性方面的对齐能力。该数据集巧妙融合了来自开源社区与合成生成的提示语，涵盖内容安全、越狱攻击防御、过度拒绝缓解、偏见抑制及敏感信息泄漏防护等关键场景。其独特的两阶段响应生成机制，能够引导模型在生成最终输出前进行显式的安全推理，从而构建出既安全又具有实用性的对话行为。该数据集广泛适用于安全对齐研究，是训练能够抵御各类恶意输入并保持伦理合规的对话系统的基石。

解决学术问题

该数据集精准回应了大语言模型在部署前亟需解决的多项学术难题。其一，它有效缓解了模型面对自残、暴力、犯罪策划等有害请求时的不当响应问题；其二，通过包含templated jailbreak attacks与latent prompt injection的对抗样本，显著提升了模型对常见红队攻击策略的鲁棒性；其三，借助对比硬负样本（如语义相似但安全的风险提示），纠正了模型因过度安全化而拒绝合理请求的倾向；其四，针对年龄歧视等偏见以及版权内容泄漏风险提供了专门的缓解数据，全方位推动了安全对齐领域的理论发展。

衍生相关工作

Nemotron-SFT-Safety-v2数据集衍生了一系列具有深远影响的经典工作，推动了安全对齐研究的发展。该数据集本身是对Nemotron-SFT-Safety-v1的全面升级，引入了高质量的多语言翻译与严格的回译过滤机制，确立了安全数据跨语言迁移的标准流程。其底层采用的Aegis-AI-Content-Safety-Dataset-2.0奠定了内容安全风险分类的基准，而HarmfulTasks与Gretel Safety Alignment等子集则成为评估越狱攻击防御能力的标杆。此外，该数据集中的两阶段推理生成技术启发了后续关于可控安全推理链的研究，多篇论文以此为参照，探索如何通过显式推理痕迹提升模型的决策透明度与安全性。