MBZUAI/AudioJailbreak

AudioJailbreak是一个用于评估音频语言模型安全性的综合基准框架，通过多种音频扰动技术来测试模型对恶意请求的防御能力。

AudioJailbreak is a comprehensive benchmark framework designed to evaluate the security of audio language models by testing model defenses against malicious requests through various audio perturbation techniques.

搜集汇总

数据集介绍

构建方式

AudioJailbreak数据集专为评估大型音频语言模型的安全性而构建。其构建过程首先收集涵盖多种有害类别的原始语音样本，并配以对应的文本内容。随后，数据集通过精心设计的音频扰动技术，特别是引入基于贝叶斯优化的对抗性样本生成方法，对原始音频进行变换，形成原始样本与对抗性样本的配对结构。所有音频数据及预处理、推理结果的JSONL文件均托管于Hugging Face平台，数据集配置包含'Origin'和'APT'两种，分别存储原始数据与经过贝叶斯优化后的对抗性音频响应。

特点

该数据集的核心特点在于其综合性与自动化评估框架。它覆盖了多种音频扰动方法，并支持对Diva、Gemini2.0_flash、GPT-4o等多个主流音频语言模型的兼容性测试。数据集引入了多维度的评估指标，包括模型拒绝率、语义相似度以及GPT评分（涵盖有害性、政策违反程度和相关性），从而全面衡量模型的安全防御能力。此外，自动化评估管线实现了从音频处理到结果分析的全流程自动化，极大提升了研究效率。

使用方法

使用该数据集时，研究者需先从Hugging Face下载完整的音频和JSONL文件。随后，可通过运行'new_add_noise.py'实现基础音频越狱攻击，或利用'APT_BO_diva.py'进行基于贝叶斯优化的对抗性样本生成。模型推理后，调用'eval.py'脚本计算评估指标，并通过'auto.sh'进行批量评估。最终，使用'all_average.py'生成综合评估报告，以对比不同模型在原始和对抗性音频下的安全表现。

背景与挑战

背景概述

随着大型音频语言模型（Audio LLMs）在语音交互、智能助手等领域的广泛应用，其安全性问题日益凸显。AudioJailbreak数据集由来自阿联酋穆罕默德·本·扎耶德人工智能大学（MBZUAI）等机构的研究团队于2024年创建，专注于评估音频语言模型在面对恶意攻击时的鲁棒性。该数据集的核心研究问题在于，如何系统性地测试和揭示当前主流音频模型在对抗性音频扰动下的安全漏洞，从而推动模型防御机制的改进。通过整合多种音频扰动技术和贝叶斯优化策略，AudioJailbreak为音频模型安全评估提供了首个公开的综合性基准，对提升音频AI系统的可信赖度具有重要影响力。

当前挑战

AudioJailbreak所解决的领域挑战主要在于，音频语言模型在接收经过微小扰动的音频输入时，可能生成有害或违反政策的响应，而现有安全评估方法多聚焦于文本模态，缺乏针对音频特有攻击向量的系统性测试。构建过程中面临的核心挑战包括：1）设计多样化的音频扰动方法，确保其既能有效触发模型漏洞，又保持人耳可感知的合理性；2）利用贝叶斯优化高效搜索最优扰动参数，平衡攻击成功率与计算开销；3）构建覆盖多种有害类别的测试用例，并协调多个主流音频模型（如GPT-4o、Gemini、Qwen2等）的接口兼容性，以实现跨模型的公平评估。

常用场景

经典使用场景

AudioJailbreak作为首个面向大型音频语言模型（Audio LLMs）的综合性越狱攻击基准，其核心使用场景在于系统性地评估多模态对话系统在面对恶意音频扰动时的安全鲁棒性。研究者通过该数据集内置的多样化有害语音样本与贝叶斯优化扰动生成管线，可对诸如GPT-4o、Gemini 2.0 Flash、Qwen2等前沿模型的防御机制进行标准化压力测试。具体而言，数据集的‘原始数据’与‘APT’配置分别对应无扰动基线及经智能优化后的对抗样本，从而支持从拒绝率、语义相似度、有害性等级等多维度量化模型的安全脆弱性。这一场景不仅填补了音频模态下红队评估的空白，更推动了跨模型安全比较与防御策略的迭代优化。

实际应用

在实际产业部署中，AudioJailbreak为语音交互系统的安全审计提供了标准化工具与评估基线。智能客服、语音助手、车载交互及可穿戴设备等依赖音频语言模型的应用场景，均可利用该数据集对产品上线前的安全防线进行红队测试。例如，通过模拟攻击者利用背景噪声、语速变化或音调调制隐藏恶意指令，企业能够自动检测模型是否会在无文本监督的纯语音通道中泄露敏感操作或生成违规内容。此外，该基准支持的自动化评估管线可直接集成至CI/CD流程，帮助开发团队在模型迭代中实时监控安全指标，从而在提升用户体验的同时，满足金融、医疗等强监管领域对AI系统安全性的合规要求。

衍生相关工作

AudioJailbreak的发布催生了一系列关于多模态大模型安全对齐的衍生研究。一方面，基于其提供的贝叶斯优化扰动框架，后续工作进一步探索了黑盒与白盒场景下音频对抗样本的可迁移性，揭示了不同模型间越狱攻击的共性模式。另一方面，该数据集中的多维度评估指标（如拒绝率与语义相似度组合）被借鉴用于构建更精细的安全度量体系，例如引入逐轮对话的上下文一致性检测。此外，部分研究以AudioJailbreak为基线，提出了针对音频模态的防御性微调策略，通过对比原始数据与APT配置下的模型表现，验证了对抗训练与输入净化对提升安全鲁棒性的有效性。这些衍生工作共同推动了音频AI安全领域从单一攻击评估向攻防协同演进的范式转变。