VoiceWukong

Name: VoiceWukong
Creator: 华中科技大学
Published: 2024-09-10T17:07:12+08:00

arXiv2024-09-10 更新2024-09-12 收录

伪造音频检测

数据链接：

https://voicewukong.github.io 数据链接链接失效反馈

官方服务：

资源简介：

VoiceWukong是由华中科技大学创建的一个综合性的深度伪造语音检测基准数据集，旨在评估深度伪造语音检测器的性能。该数据集包含265,200个英语和148,200个中文的深度伪造语音样本，涵盖了19种商业工具和15种开源工具生成的语音。数据集通过六种类型的操作创建了38种数据变体，旨在模拟真实世界中的语音操作。VoiceWukong的应用领域主要集中在深度伪造语音检测，旨在解决当前检测方法在实际应用中的泛化能力不足的问题。

VoiceWukong is a comprehensive deepfake speech detection benchmark dataset created by Huazhong University of Science and Technology, aiming to evaluate the performance of deepfake speech detectors. This dataset contains 265,200 English and 148,200 Chinese deepfake speech samples, covering speech generated by 19 commercial tools and 15 open-source tools. The dataset develops 38 data variants through six types of manipulation operations to simulate real-world speech manipulation scenarios. Its primary application field focuses on deepfake speech detection, and it is designed to address the problem of insufficient generalization capability of current detection methods in practical applications.

提供机构：

华中科技大学

创建时间：

2024-09-10

原始信息汇总

VoiceWukong 数据集概述

数据集名称

VoiceWukong

数据集描述

一个综合性的深度伪造语音检测基准。

相关链接

排行榜: Leaderboard
数据集: Dataset
用户研究结果: User Study Results
加权模型: Weighted Models
原始输出: Original Outputs
数据集构建脚本: Dataset Construction Scripts

搜集汇总

数据集介绍

构建方式

VoiceWukong数据集的构建始于对19种先进的商业工具和15种开源工具产生的语音样本的收集。这些工具涵盖了文本到语音（TTS）和语音转换（VC）两种主要生成深度伪造语音的方法。随后，为了模拟现实世界中可能遇到的多种语音处理操作，研究人员对原始语音样本进行了六种类型的处理，包括噪声注入、音量控制、时间拉伸、采样率变化、重放和淡入淡出效果。这些处理产生了38种数据变体，为深度伪造语音检测提供了全面的评估数据集。VoiceWukong最终包含了265,200个英文和148,200个中文的深度伪造语音样本，旨在为深度伪造语音检测提供一个全面且直观的基准。

特点

VoiceWukong数据集的特点在于其全面性和多样性。该数据集涵盖了英语和中文两种最广泛使用的语言，并使用了19种先进的商业工具和15种开源模型生成的语音样本。通过六种类型的语音处理操作，数据集包含了38种数据变体，为深度伪造语音检测提供了广泛的评估场景。此外，VoiceWukong是首个广泛包含处理变体并编译了最大规模的商业生成语音样本的数据集。

使用方法

VoiceWukong数据集的使用方法包括对其中的深度伪造语音样本进行评估和检测。研究人员首先在ASVspoof2019-LA数据集上训练了12种先进的深度伪造语音检测器，并使用原始作者提供的超参数和设置重新训练了模型，以确保每个检测器的最优性能。然后，所有检测器都在VoiceWukong数据集上进行预测，以评估它们在不同语音处理操作下的性能。此外，研究人员还进行了一项大规模的用户研究，以评估深度伪造语音在不同欺骗级别上的欺骗效果，并将检测器的性能与人类判断进行了比较。

背景与挑战

背景概述

随着文本到语音（TTS）和语音转换（VC）等技术的快速发展，检测深度伪造声音变得日益重要。然而，学术界和工业界缺乏一个全面直观的基准来评估检测器的性能。现有的数据集在语言多样性和现实世界生产环境中遇到的操作方面存在局限性。为了填补这一空白，我们提出了VoiceWukong，一个旨在评估深度伪造声音检测器性能的基准。为了构建数据集，我们首先收集了由19种先进且广为人知的商业工具和15种开源工具生成的深度伪造声音。然后，我们创建了38个数据变体，涵盖了六种类型的操作，为深度伪造声音检测构建了评估数据集。VoiceWukong因此包括265,200个英语和148,200个中文深度伪造声音样本。使用VoiceWukong，我们评估了12个最先进的检测器。AASIST2实现了13.50%的最佳等错误率（EER），而其他所有检测器的EER都超过了20%。我们的发现揭示了这些检测器在现实世界应用中面临的重大挑战，性能显著下降。此外，我们还进行了超过300名参与者的用户研究。结果与12个检测器和多模型大型语言模型（MLLM），即Qwen2-Audio的性能进行了比较，其中不同检测器和人类在不同欺骗级别的深度伪造声音中表现出不同的识别能力，而LALM则完全没有检测能力。此外，我们还提供了一个深度伪造声音检测排行榜，公开可在https://voicewukong.github.io获得。

当前挑战

深度伪造声音检测的挑战包括：1)解决领域问题的挑战，例如，VoiceWukong数据集解决的领域问题是深度伪造声音检测；2)构建过程中所遇到的挑战，例如，收集不同语言和操作类型的深度伪造声音样本，以及确保数据集的真实性和可靠性。

常用场景

经典使用场景

VoiceWukong 数据集主要用于评估深度伪造语音检测器的性能。它包含了由19种高级商业工具和15种开源工具生成的深度伪造语音，并涵盖了六种类型的操作，包括噪声注入、音量控制、时间拉伸、采样率变化、重放和淡入淡出效果。这使得VoiceWukong成为一个全面的基准，用于评估深度伪造语音检测器在各种现实世界场景下的性能。

衍生相关工作

VoiceWukong 数据集的发布促进了一系列相关工作的开展。例如，研究人员使用VoiceWukong 数据集评估了多种深度伪造语音检测器的性能，并发现了一些检测器的性能在真实世界场景中有所下降。此外，VoiceWukong 数据集还促进了用户研究，以了解人类对深度伪造语音的识别能力。

数据集最近研究