Nemotron-3.5-Content-Safety-Dataset

Nemotron 3.5内容安全数据集是一个用于人机交互内容安全分类的混合真实/合成监督指令数据集。该数据集由英伟达公司于2026年6月创建，遵循CC-BY-4.0许可证，可用于商业用途。数据集包含纯文本和基于图像的单轮对话示例，每个示例要求分类器判断用户输入安全性、助手响应安全性以及有害内容类别，部分示例还涵盖主题跟随分类。训练集输出包含生成推理痕迹和最终标签，而测试集和验证集仅包含最终标签。数据集采用混合数据收集方法，结合了真实或先前收集/整理的数据与合成生成/增强的数据。具体数据来源包括Nemotron安全防护数据集v3、Nemotron内容安全推理数据集、Nemotron VLM数据集v2、Wikimedia Commons以及使用Flux.1 Schnell、Qwen3系列等模型生成的合成图像和提示。人工标注由英伟达内部完成，采用单标注员标注加质量保证专家验证的流程。数据集包含约98,000条记录，其中训练集约88,000条，测试集和验证集各约4,800条。数据模态包括约70,000条纯文本记录和约28,000条图像引用记录。数据集总存储大小为136MB，下载包为67MB。数据集格式为列式结构，包含15个字段：prompt（用户输入）、response（助手响应）、input_label（用户输入安全标签）、response_label（响应安全标签）、image_path（图像路径，可为空字符串、相对路径或Wikimedia Commons URL）、violated_categories（违反的安全类别）、language（语言）、dataset_source（数据来源）、provenance（数据溯源）、row_id（行ID）、reasoning_trace（推理痕迹）、task_type（任务类型）以及各字段的来源信息。图像数据通过单独的tarball（images.tar.gz）提供，Wikimedia Commons图像需通过辅助脚本下载。该数据集旨在用于训练、验证和评估内容安全分类器或视觉语言模型，支持用户安全分类、响应安全分类、有害类别标记、拒绝行为评估、多模态内容安全评估和主题跟随分类等任务，但不适用于原始用户界面展示。The Nemotron 3.5 Content Safety Dataset is a hybrid real/synthetic supervised instruction dataset designed for human-computer interaction content safety classification. Created by NVIDIA in June 2026, the dataset is licensed under CC-BY-4.0 and permits commercial usage. It encompasses single-turn dialogue examples in both plain-text and image-based modalities, wherein each instance requires the classifier to assess the safety of user inputs, the safety of assistant responses, and identify harmful content categories; some instances additionally cover topic following classification tasks. The training set includes both generated reasoning traces and final labels, while the test and validation sets only contain final labels. The dataset employs a hybrid data collection methodology, combining real or previously curated/aggregated data with synthetically generated or augmented data. Specific data sources include the Nemotron Safety Guard Dataset v3, Nemotron Content Safety Reasoning Dataset, Nemotron VLM Dataset v2, Wikimedia Commons, as well as synthetic images and prompts generated by models including Flux.1 Schnell and the Qwen3 series. Manual annotation was conducted internally by NVIDIA, following a workflow of single annotator labeling supplemented by quality assurance expert validation. The dataset comprises approximately 98,000 total records, with around 88,000 in the training split, and roughly 4,800 records each in the test and validation splits. In terms of data modalities, there are approximately 70,000 plain-text records and 28,000 image-referencing records. The total storage size of the dataset is 136 MB, with the downloadable package being 67 MB in size. The dataset adopts a columnar structure and includes 15 fields: prompt (user input), response (assistant response), input_label (safety label for user input), response_label (safety label for assistant response), image_path (image path, which can be an empty string, relative path, or Wikimedia Commons URL), violated_categories (violated safety categories), language, dataset_source (data source), provenance (data provenance), row_id (row ID), reasoning_trace (reasoning trace), task_type (task type), and source information for each individual field. Image data is distributed via a separate tarball (images.tar.gz), and Wikimedia Commons-hosted images require downloading through an auxiliary script. This dataset is intended for training, validating, and evaluating content safety classifiers or vision-language models, supporting tasks including user safety classification, response safety classification, harmful category labeling, refusal behavior assessment, multimodal content safety evaluation, and topic following classification; however, it is not suitable for raw user interface display.

原始信息汇总

数据集名称

Nemotron 3.5 Content Safety Dataset

数据集描述

这是一个混合了真实数据与合成数据的监督式指令微调数据集，用于对人与助手的交互进行内容安全分类。数据集包含纯文本和基于图像的单轮对话。每个示例要求分类器判断用户安全性、响应安全性和有害类别；子集还覆盖了主题遵循分类。部分训练输出包含生成推理轨迹，而测试和验证输出仅包含最终标签。

数据集所有者

NVIDIA Corporation

创建日期

2026年6月2日

版本

V2

许可协议

Creative Commons Attribution 4.0 International License (CC-BY-4.0)

预期用途

用于训练、验证和评估内容安全分类器或视觉语言模型（VLM），覆盖用户安全分类、响应安全分类、有害类别标记、拒绝行为评估、多模态内容安全评估和主题遵循分类。不适用于面向用户的原始展示。

数据特征

数据集包含以下特征列：

• prompt (string)
• response (string)
• input_label (string)
• response_label (string)
• image_path (string)
• violated_categories (string)
• language (string)
• dataset_source (string)
• provenance (string)
• row_id (string)
• reasoning_trace (string)
• task_type (string)
• prompt_source (string)
• response_source (string)
• image_source (string)
• input_label_source (string)
• response_label_source (string)

数据划分

• 训练集：88,688 条
• 测试集：4,814 条
• 验证集：4,814 条
• 总记录数：约 98,000 条

数据构成

• 纯文本记录：约 70,000 条
• 图像引用记录：约 28,000 条
• 存储大小：67.1 MB（训练集 63 MB，测试集 2 MB，验证集 2 MB）

数据收集方法

混合自动化与合成方法。数据来源包括：

• Nemotron Safety Guard Dataset v3
• Nemotron Content Safety Reasoning Dataset
• Nemotron VLM Dataset v2
• Wikimedia Commons
• 合成生成的图像和提示词

数据标注方法

人工标注。标注流程为：

1. 标注员确定安全主题（如脏话、犯罪策划）。
2. 从批准来源获取相关图像。
3. 为图像开发合适的文本提示。
4. 通过后端系统使用三个LLM生成响应。
5. 标注员为提示词、图像和模型输出分配安全标签。

数据格式

列式格式，所有安全标签为文本。合成图像以 tarball (images.tar.gz) 提供，Wikimedia Commons 图像以链接形式提供。图像路径 (image_path) 可能为空字符串、相对路径或 Wikimedia Commons URL。

道德考量

NVIDIA 强调可信赖 AI 是共同责任，开发者应确保数据集满足行业和用例要求，并解决潜在的误用问题。质量问题、风险、安全漏洞或 AI 相关顾虑可通过安全漏洞提交页面报告。

搜集汇总

数据集介绍

构建方式

Nemotron-3.5-Content-Safety-Dataset 是一个面向内容安全分类的混合指令数据集，其构建融合了真实采集与合成生成两种路径。在真实数据层面，标注人员基于特定安全主题（如辱骂或犯罪策划）设计图像与文本提示，并通过三款大语言模型生成回复，最后由领域专家进行标签标注与质量审核。合成数据则借助 Flux.1 Schnell、Qwen3 系列模型以及 Gemma、Pixtral 等评估模型生成，并整合了来自 Nemotron Safety Guard Dataset v3、Nemotron VLM Dataset v2 和 Wikimedia Commons 的既有样本，形成横跨文本与图文双模态的丰富语料库。

特点

该数据集覆盖约 98,000 条记录，包含约 70,000 条纯文本样本与 28,000 条带图像引用的多模态样本，并划分为训练、测试与验证三部分。每条样本不仅标注了用户输入与模型回复的安全性标签及违规类别，还涵盖了任务类型、推理轨迹、语言来源等十余个维度的元信息，为细粒度的安全评估提供了结构化支撑。特别值得关注的是，训练子集中部分样本包含了生成式推理轨迹，有助于模型学习从思考到判别的完整逻辑链，而测试与验证集则仅保留最终标签，更贴近真实评估场景。

使用方法

用户可通过 HuggingFace Datasets 库直接加载文本数据与安全标签，代码仅需一行即可获取训练实例。若需处理图像相关样本，须先克隆仓库并解压合成图像压缩包，再利用提供的辅助脚本从 Wikimedia Commons 下载人类标注图像的引用文件。为简化流程，数据集附带了图像路径解析函数，能将原始引用自动映射至本地文件，便于后续直接使用 PIL 加载图像或将完整图文对传入视觉大语言模型进行多模态内容安全评测。

背景与挑战

背景概述

Nemotron-3.5-Content-Safety-Dataset 是由 NVIDIA 公司于2026年6月2日发布的一个高质量混合数据集，专为内容安全分类任务而设计。该数据集旨在解决大语言模型与多模态模型在交互过程中可能出现的有害内容检测问题，涵盖文本与图像两种模态。通过融合真实样本与合成数据，数据集提供了近9.8万条单轮对话样本，支持对用户输入、模型回复的安全性判定以及有害类别识别。其构建过程结合了自动化生成与人工标注，并引入了推理轨迹作为辅助信号，显著提升了分类器的可解释性与鲁棒性。该数据集的发布为内容安全领域提供了标准化的训练与评估基准，推动了安全对齐技术的实际部署。

当前挑战

该数据集首先直面大语言模型在开放域交互中的安全隐患，例如用户可能输入包含暴力、仇恨言论或犯罪引导的对抗性提示，模型也可能在无意识中生成有害回复，传统分类器难以兼顾细粒度识别与泛化能力。为此，数据集设计了多维安全标签体系与推理路径，引导模型识别违反类别并展开逻辑推演。构建过程本身亦充满挑战：人工标注需严格定义安全类别并筛选敏感图像，任务量庞大；合成数据虽能扩展样本多样性，却可能引入伪影或文化偏见，如不同语言版本的安全标准差异显著。多模态数据的融合进一步增加了对齐难度，要求图像与文本在语义上协同触发安全判定逻辑。

常用场景

经典使用场景

在大型语言模型与多模态大模型的伦理安全研究中，Nemotron-3.5-Content-Safety-Dataset 被广泛用于训练和评估内容安全分类器。该数据集以混合真实与合成样本的方式，构建了文本与图像触发的单轮人机对话，每条样本均包含用户输入安全性、模型回复安全性及危害类别等标签。研究者常用其对大模型进行安全对齐微调，或评估模型在拒绝不当请求、识别有害内容方面的鲁棒性。其特有的推理痕迹字段还为可解释安全分类提供了支撑，使其成为安全态势感知与红队测试的标准基准之一。

衍生相关工作

围绕该数据集已涌现一批具有里程碑意义的学术成果。最直接的衍生工作是由NVIDIA同步开源的 Nemotron-3.5-Content-Safety 模型，该模型专门基于此数据集训练，树立了高效安全分类的新范式。此外，该数据集常与 Nemotron Content Safety Reasoning Dataset、Nemotron VLM Dataset V2 联合使用，催生了多项关于多模态安全推理与视觉语言模型对齐的研究。部分工作还借鉴其推理痕迹设计思想，提出带有解释机制的透明化安全分类框架，推动了可解释AI在安全评估中的深度应用。

数据集最近研究

最新研究方向

随着大语言模型与多模态视觉语言模型的广泛应用，内容安全对齐已成为保障AI系统可信与负责任使用的核心议题。Nemotron-3.5-Content-Safety-Dataset作为一款融合真实与合成样本的监督指令数据集，专为人机交互中的内容安全分类而设计，覆盖文本与图像-文本双模态场景。数据集不仅引入细致的用户安全性、响应安全性及危害类别标注，还创新性地将推理链生成（reasoning trace）纳入部分训练样本，推动安全分类从静态标签走向可解释、可追溯的推理问责机制。其混合构建策略结合了人工标注与多种前沿模型如Qwen3、Flux.1 Schnell的合成能力，实现了对不安全用户请求、有害助手回应及图像内容的多维系统性刻画。该数据集的发布为多模态安全评估、拒绝行为建模及危害类别标签化提供了标准化基准，尤其对提升视觉大语言模型在复杂场景下的安全辨别能力具有重要意义，代表了内容安全对齐研究从纯文本向多模态、推理增强方向的关键跨越。