Nemotron-Content-Safety-Audio-Dataset

Nemotron内容安全音频数据集是一个多模态扩展的[Nemotron内容安全数据集V2（Aegis 2.0）](https://huggingface.co/datasets/nvidia/Aegis-AI-Content-Safety-Dataset-2.0)，包含从测试集提示中生成的**1,928个音频文件**。该数据集通过提供23个违规类别中对抗性和安全关键性提示的语音版本，使多模态AI安全研究成为可能。所有提示都是英文。然而，音频文件是使用NVIDIA的Magpie-Multilingual文本到语音（TTS）模型生成的，具有不同母语背景的演讲者，提供口音和方言多样性。

原始信息汇总

Nemotron Content Safety Audio Dataset 数据集概述

数据集基本信息

• 数据集名称：Nemotron Content Safety Audio Dataset
• 所有者：NVIDIA Corporation
• 创建日期：2025年11月21日
• 许可证：CC-BY-4.0 (Creative Commons Attribution 4.0 International)
• 完整许可证文本：https://creativecommons.org/licenses/by/4.0/legalcode
• 数据集状态：已准备就绪，可供商业使用

数据集描述

该数据集是 Nemotron Content Safety Dataset V2 (Aegis 2.0) 的多模态扩展，包含从测试集提示生成的 1,928个音频文件。它通过提供涵盖23个违规类别的对抗性和安全关键提示的口语版本，支持多模态AI安全研究。

• 语言：所有提示均为英文。音频文件使用NVIDIA的Magpie-Multilingual文本转语音模型生成，说话者具有不同的母语背景，提供了口音和方言的多样性。
• 数据量：1,928个音频文件。
• 安全内容分布：安全提示889个音频文件（46.1%），不安全提示1,039个音频文件（53.9%）。
• 提示文本长度：最小1字符，最大5,499字符，平均262.0字符，中位数67字符。

数据集结构与格式

• 模态：音频（WAV格式）+ 元数据（CSV）。

• 数据集结构：

  nemotron-content-safety-audio/ ├── audio/ # 1,928个WAV文件 │ └── {id}_{voice}.wav ├── metadata.csv # 完整数据集元数据 ├── README.md # 数据集文档 └── LICENSE # CC-BY-4.0许可证

• 音频文件格式：

  • 格式：未压缩WAV（波形音频文件格式）
  • 采样率：44,100 Hz
  • 位深度：16-bit
  • 声道：单声道
  • 编码：PCM（脉冲编码调制）

• 元数据文件：metadata.csv

  • 格式：CSV（逗号分隔值）
  • 编码：UTF-8
  • 列数：12列（id, response, prompt_label, response_label, violated_categories, prompt_label_source, response_label_source, prompt, audio_filename, audio_duration_seconds, speaker_name, speaker_native_language）

• 文件命名规范：{id}_{voice_name}.wav

数据收集与标注

• 数据收集方法：混合（人工、合成）
  • 原始提示：人工编写，收集自Anthropic RLHF、DAN越狱数据集和AI辅助的红队测试数据集。
  • 音频生成：合成，使用NVIDIA Magpie-Multilingual TTS模型生成。
  • 文本分块策略：自动分割（每块最多300字符），具有句子感知边界。
  • 语音分配：自动轮询分布，以实现语音使用的平衡。
• 标注方法：人工
  • 所有提示安全标签均为人工标注。
  • 二元安全标签（安全/不安全）。
  • 多类别违规标签（23个类别）。
  • 通过系统审查过程（15-30%的数据重新评估）保证质量。
  • 标注团队：12名具有工程和创意写作背景的标注员。
  • 注意：音频文件继承原始文本提示的标签；未执行单独的音频标注。

数据集量化信息

• 总数据存储：约2.7 GB（音频文件约2.7 GB，平均每个文件约1.4 MB；元数据CSV文件1.3 MB）。
• 语音分布（按说话者母语背景）：
  • 英语母语者（EN-US）：648个文件（33.6%），2种声音（Ray, Sofia）。
  • 西班牙语母语者（ES-US）：642个文件（33.3%），2种声音（Diego, Isabela）。
  • 法语母语者（FR-FR）：638个文件（33.1%），2种声音（Louise, Pascal）。
• 违规类别分布（前十位）：
  1. 犯罪计划/供述：509个提示（26.4%）
  2. 需要谨慎：235个提示（12.2%）
  3. 仇恨/身份仇恨：182个提示（9.4%）
  4. 暴力：178个提示（9.2%）
  5. 骚扰：152个提示（7.9%）
  6. 管制/受管制物质：114个提示（5.9%）
  7. 个人身份信息/隐私：101个提示（5.2%）
  8. 亵渎：100个提示（5.2%）
  9. 性内容：99个提示（5.1%）
  10. 枪支和非法武器：62个提示（3.2%）
• 多类别违规：511个提示（26.5%）具有多个类别违规。
• 内容特征：
  • 第一人称提示（I/me/my）：1,152个（59.8%）
  • 疑问句（?）：1,019个（52.9%）
  • 多句提示：976个（50.6%）
  • 包含URL：23个（1.2%）
  • 包含随意/俚语：41个（2.1%）

预期用途

• 主要用例：
  1. 多模态AI安全研究：开发适用于文本和音频模态的防护栏。
  2. 音频内容审核：训练模型以检测口语形式的不安全内容。
  3. 基于语音的红队测试：评估LLM在接收音频输入时的安全性。
  4. 对抗性音频测试：评估安全系统对口语对抗性提示的响应。
  5. 跨模态安全对齐：构建在文本转语音和语音转文本管道中保持安全性的系统。
• 目标用户：AI安全研究人员、内容审核系统开发者、多模态模型开发者、防护栏系统工程师、AI伦理和对齐领域的学术研究人员。
• 超出范围的用途：训练对话代理或对话系统（很可能导致有害行为）；任何违反CC-BY-4.0许可证条款的用途。

伦理考虑与负责任使用指南

• 数据标注伦理：原始文本数据集的标注过程遵循严格的伦理标准，包括自愿参与、心理健康支持、偏见预防、质量保证和团队多样性。
• 音频生成伦理：所有音频使用合成TTS语音，以避免利用人类配音演员处理不安全内容；无人类说话者；语音多样性；透明归属。
• 负责任使用指南：
  1. 未经广泛安全对齐，请勿使用此数据集训练对话代理。
  2. 在共享或演示时实施内容警告和访问控制。
  3. 考虑研究人员处理此内容时的心理健康影响。
  4. 报告任何滥用或对数据集内容的担忧。
  5. 确保遵守有关冒犯性内容的当地法律。
  6. 请勿尝试使用音频文件伤害、骚扰或欺骗个人。

相关资源

• 原始文本数据集：nvidia/Aegis-AI-Content-Safety-Dataset-2.0
• 论文：AEGIS 2.0 on ACL Anthology | arXiv
• NVIDIA Guardrails：NeMo Guardrails
• TTS模型：NVIDIA Magpie-Multilingual

版本历史

• v1.0（2025年12月1日）：初始发布，包含1,928个音频文件。

搜集汇总

数据集介绍

构建方式

在人工智能安全研究领域，多模态内容审核日益成为关键课题。Nemotron内容安全音频数据集的构建，源于对文本安全数据集的多模态扩展需求。该数据集以NVIDIA Aegis 2.0文本测试集为基础，通过合成语音技术生成对应的音频版本。具体而言，原始文本提示来源于人类撰写的对抗性内容，涵盖从Anthropic RLHF到DAN越狱数据集等多个来源，并经过严格的人工安全标注。音频生成则采用NVIDIA Magpie多语言文本转语音模型，通过自动化文本分块策略将长文本分割为不超过300字符的片段，并以循环分配方式均衡使用六种不同母语背景的合成语音，最终形成包含1,928个音频文件的多模态安全数据集。

特点

该数据集呈现出多维度特征，其核心在于跨模态的安全对齐研究价值。数据集不仅包含原始文本提示及其对应音频，还完整保留了人工标注的二元安全标签和23类违规分类标签，其中安全内容占46.1%，不安全内容占53.9%。语音多样性是其显著特点，通过英语、西班牙语和法语母语的合成语音系统，以相近比例呈现不同口音的英语发音，为研究口音对安全检测的影响提供了实验基础。数据分布方面，提示文本长度从1字符到5,499字符不等，其中68.2%为短文本，违规内容以犯罪策划、暴力、仇恨言论等类别为主，26.5%的提示涉及多类别违规，体现了现实场景中安全威胁的复杂性。

使用方法

针对多模态人工智能安全研究，该数据集提供了标准化的使用框架。研究者可通过metadata.csv文件中的音频文件名映射，访问对应的WAV格式音频文件，这些文件采用44.1kHz采样率、16位深度的单声道PCM编码。典型应用场景包括训练跨模态内容审核模型，通过联合分析文本提示和合成语音，开发适用于语音输入的安全护栏系统；也可用于语音红队测试，评估大语言模型对音频形式对抗性提示的防御能力。使用时应遵循数据集附带的CC-BY-4.0许可协议，特别注意避免将数据集直接用于对话系统训练，而应专注于安全对齐研究，同时为处理敏感内容的研究人员提供必要的心理健康支持措施。

背景与挑战

背景概述

随着多模态人工智能系统的快速发展，音频内容安全成为确保人机交互安全的关键环节。由NVIDIA公司于2025年11月发布的Nemotron-Content-Safety-Audio-Dataset，作为Aegis 2.0数据集的音频扩展，旨在推动跨模态AI安全研究。该数据集由专业团队构建，包含1,928个由文本提示合成的音频样本，覆盖23类安全违规类别，并融入英语、西班牙语和法语母语者的口音多样性。其核心研究问题聚焦于如何有效检测与缓解语音形式的不安全内容，为构建稳健的音频内容审核系统与跨模态护栏提供了重要基准，对人工智能伦理与对齐领域具有显著影响力。

当前挑战

该数据集致力于解决多模态内容安全领域的核心挑战，即如何精准识别与分类语音形式的有害内容，涵盖犯罪策划、仇恨言论、暴力等23个违规类别。构建过程中的挑战主要体现在多模态数据的合成与标注上：需将文本提示通过TTS技术转化为具有口音多样性的音频，同时确保合成语音的伦理使用，避免真人录音涉及有害内容；此外，数据标注依赖人类专家对原始文本进行精细分类，并需处理多类别违规的复杂情况，以及平衡安全与不安全样本的分布，以保障数据集的代表性与可靠性。

常用场景

经典使用场景

在人工智能安全研究领域，多模态内容审核正成为关键挑战。Nemotron-Content-Safety-Audio-Dataset通过提供包含安全与不安全内容的语音样本，为开发跨模态安全护栏系统奠定了数据基础。该数据集最经典的使用场景是训练和评估音频内容审核模型，使系统能够识别语音形式的有害内容，如仇恨言论、暴力煽动或犯罪策划。其精心设计的语音多样性，包括不同母语背景的合成语音，有助于提升模型对多种口音和发音模式的鲁棒性，为构建可靠的语音输入安全过滤机制提供了标准化测试平台。

实际应用

在实际应用层面，该数据集可直接服务于在线平台的内容审核系统开发，帮助训练模型自动检测播客、语音聊天、音频流媒体中的违规内容。它也为智能语音助手和客服系统的安全部署提供了关键测试资源，确保这些系统在接收语音指令时能抵御恶意诱导或越狱攻击。此外，在金融、医疗等敏感行业的语音交互应用中，数据集可用于构建预防欺诈、保护隐私的语音安全模块，提升多模态AI产品在真实场景中的可靠性与合规性。

衍生相关工作

基于该数据集衍生的经典工作主要集中在多模态红队测试框架与统一安全评估协议的构建。研究者利用其语音对抗样本，开发了针对大型语言模型语音接口的自动化红队测试工具，系统评估模型在语音输入下的安全漏洞。同时，该数据集也催生了跨模态表示学习的新方法，旨在将文本与语音的安全语义进行对齐。相关工作还扩展至口音鲁棒性研究，探索安全模型在不同语音变体上的泛化能力，推动了多模态AI安全评估标准的演进与统一。