AudioSafe

AudioSafe是一个安全导向的语音和音频理解基准数据集，包含可能有害或敏感的意图的口语查询，并配有安全导向的指令。数据集包含干净的音频和经过声学修改的版本（如情感、语速、噪声、口音、音量等），采用指令-响应风格的安全监督标注，总大小约为10.4 GB，由6个子数据集组成。

AudioSafe is a safety-oriented benchmark dataset for speech and audio understanding. It contains spoken queries with potentially harmful or sensitive intents, paired with safety-oriented instructions. The dataset includes both clean audio and acoustically modified variants (e.g., adjusted emotions, speaking speeds, background noises, accents, volume levels, etc.). It adopts an instruction-response style safety-supervised annotation framework, has a total size of approximately 10.4 GB, and consists of 6 sub-datasets.

原始信息汇总

Hidden in the Noise 数据集概述

基本信息

• 数据集名称：Hidden in the Noise (HIN) / AudioSafe
• 核心内容：包含用于评估音频大语言模型（ALLM）安全性的有害音频查询基准，以及一个利用潜在声学模式触发器进行后门攻击的框架。
• 语言：英语
• 领域：面向安全的语音和音频理解
• 音频格式：WAV，单声道，16kHz
• 内容类型：包含潜在有害或敏感意图的口语查询，与面向安全的指令配对
• 触发器变体：纯净音频和声学修改版本（例如，情感、语速、噪声、口音、音量）
• 标注格式：指令-响应风格的安全监督
• 总大小：约 10.4 GB
• 子数据集数量：6 个

数据集构成与用途

• AudioSafe 基准：评估九种不同风险类型（例如，骚扰、恶意软件、欺诈、人身伤害）的有害音频查询。
• HIN 后门攻击框架：通过应用对原始音频波形的声学修改（如改变时间动态和策略性地注入频谱定制的噪声）来创建后门触发器，旨在利用细微的、音频特定的特征。

基准评估任务

1. 安全拒绝评估
   • 指标：纯净准确率
   • 描述：衡量 ALLM 在纯净（无触发器）条件下是否正确拒绝回答有害音频查询。
2. 音频后门攻击
   • 指标：攻击成功率
   • 描述：评估当特定声学后门存在时，触发有害响应的成功率。
3. 声学触发器敏感性
   • 指标：每种触发器类型的攻击成功率
   • 描述：评估模型在不同音频特征（情感、语速、噪声、口音、音量）下的脆弱性。
4. 风险类型安全评估
   • 指标：每个风险类别的准确率 / 攻击成功率
   • 描述：评估模型在九种风险类型中的安全行为。
5. 隐蔽性评估
   • 指标：损失差异
   • 描述：衡量中毒样本是否在训练损失动态中引入可检测的异常。
6. 可转移性评估
   • 指标：跨基准攻击成功率
   • 描述：测试音频后门攻击是否可转移到外部安全基准。

相关论文

• 标题：Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers
• 状态：已提交，并被 AAAI2026 接收为口头报告
• 预印本：https://arxiv.org/pdf/2508.02175v3
• 引用格式： bibtex @article{lin2025hin, title={Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers}, author={Lin, Liang and Yu, Miao and Luo, Kaiwen and others}, journal={arXiv preprint arXiv:2508.02175}, year={2025} }

获取与使用

• 代码仓库地址：https://github.com/Kwwwww74/Hidden-in-the-Noise
• 快速开始：克隆仓库并安装依赖（requirments.txt 或 requirments-offline-model.txt）。

联系信息

• Liang Lin: [e-mail]
• Kevin Luo: [e-mail]

搜集汇总

数据集介绍

构建方式

在音频大语言模型安全研究领域，AudioSafe数据集的构建采用了系统化方法。该数据集以英语为语言基础，专注于安全导向的语音理解任务，音频格式统一为单声道16kHz的WAV文件。其内容由包含潜在有害或敏感意图的口语查询构成，并与安全导向的指令配对。构建过程中，研究者为原始音频创建了多种声学修改版本，涵盖情感、语速、噪声、口音和音量等触发变体，通过指令-响应风格的安全监督进行标注，最终形成总容量约10.4GB、包含六个子数据集的完整体系。

特点

AudioSafe数据集展现出多维度特点，其核心在于全面覆盖九类风险领域，包括骚扰、恶意软件、欺诈和物理伤害等。该数据集不仅提供纯净音频样本，更系统集成了基于声学特征的触发变体，能够精细评估模型对不同音频特性的敏感性差异。数据集采用标准化标注框架，以指令-响应模式构建安全监督机制，支持从安全拒绝评估到后门攻击测试的多种基准任务。这种设计使得研究者能够深入探究音频大语言模型在声学触发模式下的脆弱性表现。

使用方法

使用AudioSafe数据集时，研究者可通过克隆项目仓库并安装依赖环境快速开始。该数据集支持对音频大语言模型进行系统性安全评估，涵盖安全拒绝准确率、攻击成功率等核心指标。用户可针对不同声学触发类型分析模型敏感性，或按风险类别进行细粒度安全评估。数据集还支持隐密性评估，通过损失微分分析检测中毒样本的异常特征。此外，其跨基准可转移性测试功能允许研究者在外部安全基准上验证音频后门攻击的泛化能力，为全面理解模型安全边界提供实证基础。

背景与挑战

背景概述

随着音频大语言模型（ALLMs）在语音处理领域的崛起，其安全性问题日益凸显。尽管文本和视觉模态的安全性研究已较为深入，但音频因其独特的声学特性，带来了全新的安全挑战。AudioSafe数据集由林亮、余淼、罗凯文等研究人员于2025年构建，并关联于论文《Hidden in the Noise: Unveiling Backdoors in Audio LLMs Alignment through Latent Acoustic Pattern Triggers》。该数据集旨在系统评估ALLMs在面对包含潜在有害意图的音频查询时的安全鲁棒性，尤其关注声学模式触发的后门攻击。作为首个专注于音频大语言模型安全性的基准测试，AudioSafe涵盖了九类风险类别，为理解与防御音频模态的对抗性攻击提供了关键数据支撑，推动了音频人工智能安全领域的研究进展。

当前挑战

AudioSafe数据集致力于解决音频大语言模型安全评估的核心挑战，即如何系统检测模型对隐蔽声学触发模式的脆弱性。具体挑战包括：在领域问题层面，需精准界定音频查询中的有害意图类别，并设计能够有效触发模型异常响应的多样化声学特征，如环境噪声、语速变化、情感语调等；在构建过程中，面临声学触发模式的设计与嵌入难题，确保这些模式对人类听觉而言足够隐蔽，同时又能被模型编码器稳定捕获。此外，数据集的标注需平衡指令-响应对的安全监督，并保证音频质量与格式的一致性，以支持可靠的基准评估。

常用场景

经典使用场景

在音频大语言模型安全研究领域，AudioSafe数据集常被用于评估模型对隐蔽声学后门攻击的鲁棒性。研究者通过该数据集模拟多种声学触发模式，如环境噪声、语速变化或情感变异，系统性地测试模型在遭遇恶意音频查询时的防御能力。这一场景为探索音频模态特有的安全漏洞提供了标准化实验平台，推动了针对声学特征攻击的检测与缓解技术的发展。

实际应用

在实际应用中，AudioSafe数据集可服务于智能语音助手、音频内容审核系统及声控安全接口的强化测试。例如，开发人员能够利用该数据集中的声学触发样本来检验语音交互系统在嘈杂环境或变调语音下的安全响应，从而识别潜在的后门植入风险。这有助于在实际部署前提升系统的抗干扰能力，确保音频驱动的人工智能应用在金融、医疗及公共安全等领域中的可靠性与合规性。

衍生相关工作

围绕AudioSafe数据集，已衍生出多项关于音频后门攻击与防御的经典研究。例如，基于其声学触发框架，后续工作进一步探索了跨模型迁移攻击的有效性，或将声学模式与文本提示相结合的多模态攻击策略。同时，该数据集也激发了针对音频特征编码器的鲁棒性改进方案，如对抗训练与异常检测算法的创新，这些工作共同推动了音频大语言模型安全生态的演进与完善。