CodecFake-Omni

CodecFake-Omni是由国立台湾大学等机构创建的大规模数据集，旨在研究基于神经编解码器的深度伪造语音检测。该数据集包含31种不同的开源编解码器模型生成的训练数据，以及17种先进的CoSG模型生成的测试数据。数据集通过重新合成真实语音生成训练数据，测试数据则来自未发布的模型生成的语音。CodecFake-Omni是目前最大的CodecFake语料库，涵盖了最广泛的编解码器架构。该数据集的应用领域主要是深度伪造语音检测，旨在解决当前反欺骗模型在检测由CoSG系统生成的合成语音时的不足问题。CodecFake-Omni is a large-scale dataset developed by institutions including National Taiwan University for research on neural codec-based deepfake speech detection. This dataset comprises training data generated by 31 distinct open-source codec models, as well as test data produced by 17 state-of-the-art CoSG models. The training data is generated via resynthesis of real speech, while the test data is sourced from speech produced by unreleased models. CodecFake-Omni currently stands as the largest CodecFake corpus, covering the broadest range of codec architectures. The primary application scenario of this dataset is deepfake speech detection, with the goal of addressing the limitations of current anti-spoofing models when detecting synthetic speech generated by CoSG systems.

搜集汇总

数据集介绍

构建方式

CodecFake-Omni数据集的构建基于神经音频编解码器（Neural Audio Codec）技术，旨在推动基于编解码器的深度伪造语音（CodecFake）检测研究。训练集通过使用21个不同编解码器家族的31个开源神经音频编解码器模型对真实语音进行重新合成生成。评估集则包含从17个先进的编解码器语音生成（CoSG）模型中收集的网络数据，涵盖了8个编解码器家族。通过这种大规模数据集的构建，研究者能够验证传统反欺骗模型在面对现代编解码器生成的语音时的局限性，并提出了一种全面的神经音频编解码器分类法，为未来的CodecFake检测研究提供了宝贵的见解。

特点

CodecFake-Omni数据集是目前已知的最大规模的CodecFake语音数据集，涵盖了最广泛的编解码器架构。其训练集通过31个不同的开源编解码器模型生成，评估集则包含来自17个CoSG模型的语音数据。该数据集不仅规模庞大，还通过编解码器分类法对编解码器进行了系统化的分层分析，揭示了编解码器属性与CodecFake检测性能之间的关系。例如，使用具有解纠缠辅助目标的编解码器重新合成的数据在检测CodecFake语音时表现出更好的性能。

使用方法

CodecFake-Omni数据集的使用方法主要包括训练和评估两个阶段。在训练阶段，研究者可以使用数据集中的重新合成语音（CoRS）来训练反欺骗模型。评估阶段则分为两部分：一是对重新合成语音的评估，二是对CoSG模型生成的伪造语音的评估。通过这种分阶段的评估，研究者能够全面测试模型在不同场景下的性能。此外，数据集还支持基于编解码器分类法的分层分析，帮助研究者深入理解编解码器属性对检测性能的影响，从而优化反欺骗模型的开发。

背景与挑战

背景概述

CodecFake-Omni数据集由台湾大学的研究团队于2025年创建，旨在应对基于神经音频编解码器（CoSG）生成的深度伪造语音（CodecFake）检测问题。随着CoSG系统的快速发展，生成逼真的伪造语音变得愈发容易，这对信息安全和社会信任构成了严重威胁。CodecFake-Omni是目前规模最大、涵盖最广泛编解码器架构的数据集，包含31种开源神经音频编解码器模型生成的训练数据，以及17种先进CoSG模型生成的测试数据。该数据集的发布推动了反欺骗领域的研究进展，特别是在检测新型深度伪造语音方面具有重要意义。

当前挑战

CodecFake-Omni数据集面临的挑战主要体现在两个方面。首先，在领域问题方面，传统的反欺骗模型难以有效检测由CoSG系统生成的伪造语音，因为这些语音与传统的语音合成模型生成的语音在声学特性上存在显著差异。其次，在数据集构建过程中，研究人员面临了编解码器模型多样性带来的复杂性挑战。为了构建一个全面的数据集，研究人员需要整合多种编解码器架构，并定义系统的神经音频编解码器分类法，以便更好地理解和分析这些模型。此外，测试数据的收集也面临隐私和模型未公开的挑战，研究人员只能从公开的演示页面获取数据，这增加了数据集的构建难度。

常用场景

经典使用场景

CodecFake-Omni数据集主要用于研究基于神经音频编解码器的深度伪造语音（CodecFake）检测。该数据集通过重新合成语音，涵盖了多种神经音频编解码器架构，为开发反欺骗模型提供了丰富的训练和测试数据。其经典使用场景包括训练和评估反欺骗模型，以检测由CodecFake生成的伪造语音，尤其是在面对新兴的神经音频编解码器生成系统时，能够有效提升检测性能。

衍生相关工作

CodecFake-Omni数据集衍生了一系列相关研究工作，尤其是在深度伪造语音检测领域。基于该数据集的研究提出了多种新型反欺骗模型，如基于Vocos和FACodec的模型，这些模型在检测CodecFake语音时表现出色。此外，该数据集还推动了神经音频编解码器分类法的研究，为未来的深度伪造检测提供了系统化的分析框架。相关研究还探索了不同编解码器属性对检测性能的影响，进一步推动了该领域的技术进步。

数据集最近研究

最新研究方向

随着基于神经编解码器的语音生成（CoSG）系统的快速发展，生成模仿个人身份的虚假语音并传播错误信息变得异常容易。CodecFake-Omni数据集的推出，标志着在检测由CoSG系统生成的深度伪造语音（CodecFake）领域迈出了重要一步。该数据集是目前为止规模最大、涵盖最广泛编解码架构的深度伪造语音检测数据集，包含了31种开源神经音频编解码模型生成的训练数据和17种先进CoSG模型生成的测试数据。通过这一大规模数据集，研究揭示了传统反欺骗模型在检测当前CoSG系统生成的合成语音时表现不佳的现象，并提出了一个全面的神经音频编解码分类法，为未来的CodecFake检测研究提供了宝贵的见解。CodecFake-Omni不仅为开发针对CodecFake的反欺骗模型提供了丰富的资源，还通过分层分析揭示了编解码属性与检测性能之间的关系，推动了该领域的前沿研究。

相关研究论文

• CodecFake-Omni: A Large-Scale Codec-based Deepfake Speech Dataset

  国立台湾大学 · 2025年