unibuc-cs/XMAD-Bench

XMAD-Bench是一个大规模的跨域多语种音频Deepfake基准数据集，包含了668.8小时的真实和Deepfake语音。该数据集旨在为音频Deepfake检测器提供一个具有挑战性的跨域评估环境，其中训练集和测试集中的说话者、生成方法和真实音频源各不相同。

XMAD-Bench is a large-scale cross-domain multilingual audio deepfake benchmark comprising 668.8 hours of real and deepfake speech. The dataset is designed to provide a challenging cross-domain evaluation environment for audio deepfake detectors, where the speakers, generative methods, and real audio sources are distinct across the training and test sets.

搜集汇总

数据集介绍

构建方式

XMAD-Bench是一个大规模跨域多语言音频深度伪造基准数据集，由布加勒斯特大学的研究团队构建。该数据集汇集了668.8小时的真实与伪造语音数据，覆盖罗马尼亚语、阿拉伯语、俄语、英语、德语、西班牙语和普通话七种语言。在构建过程中，研究者采用多种先进的语音合成与转换方法生成伪造样本，包括VITS、fairseq、Tacotron、Bark等文本到语音模型，以及FreeVC、KNN-VC、OpenVoice等语音转换技术，并针对每种语言定制了不同的生成管道。训练集与测试集在说话人、生成方法及真实音频来源上严格分离，确保了跨域评估的严谨性与挑战性。

特点

该数据集的核心特点在于其跨域设计，即训练与测试数据在说话人身份、生成模型类型及音频数据源上均无重叠，从而真实模拟了深度伪造检测模型在实际部署中面临的域偏移问题。实验表明，尽管现有检测器在域内测试中准确率接近100%，但在跨域场景下性能骤降，甚至接近随机猜测。这一显著差距凸显了当前检测方法泛化能力的不足。此外，数据集的多语言特性与多样化的伪造生成技术，为评估模型在语言、声学特征及伪造手法上的鲁棒性提供了全面而严苛的测试平台。

使用方法

研究者可通过Google Drive链接下载数据集，并利用提供的检测框架进行模型评估。使用时需修改config.json配置文件以指定数据路径，随后运行detection/main.py脚本启动检测流程。数据集还附带了演示生成脚本demo_script.py，支持用户输入文本与参考音频生成新的伪造样本，便于快速验证。针对每种语言，README中提供了详细的生成代码示例，指导用户根据具体语言调整模型参数与管道配置。这一设计使得XMAD-Bench不仅是一个评测基准，更是一个可扩展的研究工具，支持定制化的伪造样本生成与检测实验。

背景与挑战

背景概述

随着语音合成与转换技术的迅猛发展，音频深度伪造（audio deepfake）的生成愈发逼真且易于获取，对社会安全构成了严峻威胁，包括金融欺诈、身份盗窃与虚假信息传播等。为应对这一挑战，布加勒斯特大学的研究团队（Ioan-Paul Ciobanu等人）于2025年发布了XMAD-Bench，一个大规模跨域多语言音频深度伪造基准数据集。该数据集汇集了668.8小时的真实与伪造语音，覆盖英语、罗马尼亚语、阿拉伯语、俄语、德语、西班牙语及普通话等多种语言，其核心创新在于确保训练集与测试集中的说话人、生成方法及真实音频来源截然不同，从而构建了一个极具挑战性的跨域评估场景。这一设计旨在揭示当前音频深度伪造检测器在域内测试中表现近乎完美（准确率常接近100%），但在跨域泛化时性能骤降至随机水平的显著落差，为推动鲁棒性检测技术的发展提供了关键基准。

当前挑战

XMAD-Bench所应对的核心挑战在于音频深度伪造检测的跨域泛化能力不足。现有检测方法多专注于域内场景，即训练与测试数据源自相同的生成模型，导致模型在真实世界多样化条件下失效。该数据集通过引入语言、说话人、生成技术及数据来源的彻底分离，迫使检测器必须学习更本质的伪造痕迹，而非记忆特定模型的特征。构建过程中，研究团队面临多重技术难题：首先，需协调多种语音合成与转换管线（如VITS、FreeVC、KNN-VC、OpenVoice、XTTSv2等）在七种语言上生成高保真伪造样本；其次，要确保跨域划分的严苛性，避免任何数据泄漏；最后，需平衡数据规模与多样性，使基准既能反映现实复杂性，又具备可复现的评估标准。这些挑战共同凸显了开发通用音频伪造检测器的迫切需求。

常用场景

经典使用场景

XMAD-Bench作为跨域多语言音频深度伪造基准数据集，其最经典的使用场景在于评估和验证音频深度伪造检测模型在真实世界中的泛化能力。该数据集精心设计了训练集与测试集在说话人、生成方法及真实音频来源上的完全分离，从而构建了一个极具挑战性的跨域评估框架。研究者可借助此基准，系统性地衡量模型在面对未见过的语言（如罗马尼亚语、阿拉伯语、俄语、英语等）、未知生成算法（如VITS、FreeVC、KNN-VC、OpenVoice等）以及全新数据源时的检测鲁棒性，彻底摆脱传统同域测试中性能虚高的困境。

实际应用

在实际应用层面，XMAD-Bench所驱动的检测技术可广泛部署于金融反欺诈、身份认证、司法取证及社交媒体内容审核等关键领域。例如，在银行远程开户或电话交易中，利用经该基准锤炼的模型可有效识别利用深度伪造语音实施的金融诈骗；在新闻机构中，可自动化甄别伪造的领导人讲话或证人证言，遏制虚假信息的传播。此外，该基准的多语言特性使其能够适配全球不同地区的语音安全需求，为构建跨语种的音频可信度评估系统提供了坚实的实验基础，从而切实保护公众免受音频伪造带来的身份盗窃与误导风险。

衍生相关工作

自XMAD-Bench发布以来，已催生了一系列富有影响力的衍生研究工作。一方面，研究者基于该基准提出了多种针对跨域泛化的改进策略，例如引入域对抗训练、特征解耦与元学习等方法来增强模型对未知生成域及语言域的适应能力。另一方面，该数据集推动了音频深度伪造检测领域从单一模态向多模态融合的演进，衍生出基于语音与文本、声纹等多源信息协同验证的检测框架。此外，围绕该基准还涌现出若干关于模型可解释性及对抗鲁棒性探讨的学术成果，为构建更安全、更透明的音频内容治理体系奠定了方法论基础。