PolyGlotFake

PolyGlotFake是一个创新的跨语言和多模态深度伪造数据集，由九州大学创建。该数据集包含7种语言的内容，使用了多种先进的文本到语音、声音克隆和唇同步技术。数据集的创建过程涉及从公开视频平台收集高质量视频，并将其内容翻译成其他六种语言，同时使用五种高级声音克隆和TTS技术生成目标语言的音频。PolyGlotFake数据集不仅在技术上具有先进性，还广泛应用于多模态深度伪造检测研究，旨在解决当前深度伪造技术带来的信息安全问题。PolyGlotFake is an innovative cross-lingual and multimodal deepfake dataset developed by Kyushu University. This dataset contains content in 7 languages, adopting multiple advanced text-to-speech (TTS), voice cloning and lip-sync technologies. The dataset creation process involves collecting high-quality videos from public video platforms, translating their content into the other six languages, and generating audio in target languages using five advanced voice cloning and TTS technologies. Not only technically advanced, the PolyGlotFake dataset is also widely used in multimodal deepfake detection research, aiming to address the information security issues caused by current deepfake technologies.

搜集汇总

数据集介绍

构建方式

PolyGlotFake数据集从YouTube收集了涵盖七种语言（联合国六种官方语言及日语）的高质量原始视频，并通过人工验证确保语句完整性。随后，利用Whisper将音频转录为文本，借助Microsoft翻译API将其转为其他六种语言。在音频伪造方面，采用了五种先进的语音克隆与文本转语音技术（如XTTS、Bark结合FreeVC、Vall-E-X等）生成目标语言音频；在视觉伪造方面，使用Wav2Lip结合GANs与VideoRetalking两种尖端唇同步技术，将原始视频与生成音频对齐，最终产出14,472段伪造视频。每段视频均附有详尽的技术与属性标签，涵盖人物性别、年龄及具体伪造方法。

使用方法

PolyGlotFake数据集专为多模态深度伪造检测研究设计，可用于训练与评估各类检测器。研究人员可按照8:1:1比例划分训练、验证与测试集，并采用分层抽样确保各技术组合的代表性。对于基于集成的检测模型，建议从每个视频中随机裁剪三秒音频转换为三通道MFCC特征作为音频输入，同时提取十帧作为视觉输入。该数据集已在多种检测器上完成基准测试，包括朴素型、空间型与频率型检测器，结果显示其跨数据集评估时性能显著下降，凸显了其在推动多模态伪造检测前沿研究中的挑战性与实用价值。

背景与挑战

背景概述

随着生成式人工智能技术的迅猛发展，多模态深度伪造技术通过同步操纵视频中的视觉与音频模态，显著提升了伪造内容的逼真度，对全球信息安全构成了严峻威胁。当前，深度伪造检测已成为应对这一挑战的关键手段，而高质量数据集的构建则是训练和验证检测模型的核心基础。然而，现有公开数据集大多局限于单一视觉模态，即便如DFDC和FakeAVCeleb等少数多模态数据集，也普遍存在技术陈旧、语言单一等问题，难以反映当前深度伪造技术的全球化趋势与前沿水平。在此背景下，日本九州大学的研究团队于2023年提出了PolyGlotFake数据集。该数据集涵盖英语、法语、西班牙语、俄语、中文、阿拉伯语及日语七种语言，利用五种先进的文本转语音与语音克隆技术以及两种尖端唇形同步技术，生成了包含15,238个高质量视频的多模态、多语言深度伪造样本，并提供了细粒度的技术与属性标注，为多模态深度伪造检测研究提供了全新的基准资源。

当前挑战

PolyGlotFake数据集所面临的挑战主要体现在两个层面。在领域问题层面，其核心挑战在于多模态与多语言深度伪造的检测。现有检测方法大多针对单一视觉模态设计，难以有效应对音频与视觉联合伪造的复杂场景；同时，多语言内容的引入使得伪造痕迹在不同语言间呈现差异，进一步加剧了检测难度。跨数据集实验表明，在FakeAVCeleb上训练的检测器在PolyGlotFake上的AUC值显著下降，例如Xception从0.9169降至0.6052，凸显了该数据集对现有检测方法构成的严峻考验。在构建过程层面，挑战集中于如何确保多语言翻译的语义保真度、音频与视频模态间的时间同步精度，以及不同生成技术组合下伪造视频的视觉与听觉质量一致性。此外，对每个伪造视频进行细粒度的技术溯源标注，要求构建流程具备高度系统化的质量控制与标签管理体系，显著增加了数据集的构建复杂度。

常用场景

经典使用场景

在深度伪造检测领域，PolyGlotFake数据集的经典使用场景聚焦于多语言、多模态伪造内容的识别与溯源。鉴于现有数据集多局限于单一语言与视觉模态，PolyGlotFake通过整合七种语言的高质量视频，并运用前沿的文本转语音、语音克隆及唇形同步技术生成逼真伪造样本，为研究者提供了一个全面评估检测模型跨语言、跨模态泛化能力的基准平台。该数据集尤其适用于训练和测试能够同时分析音频与视觉异常的多模态检测器，从而推动更鲁棒的伪造内容鉴别技术发展。

解决学术问题

PolyGlotFake有效解决了当前学术研究中多模态深度伪造数据集匮乏及技术标注不足的关键问题。此前，仅有DFDC和FakeAVCeleb等少数公开数据集涵盖多模态内容，但其采用的技术陈旧且语言单一，难以反映全球化背景下伪造技术的演进趋势。该数据集通过引入十种先进的操纵方法并附有细粒度的技术标签，使研究者能够开展技术溯源分析，深入探究不同合成算法对检测性能的影响，从而为设计更具泛化能力的检测模型提供了坚实的数据支撑，显著推动了多模态伪造检测领域的理论进展。

实际应用

在实际应用中，PolyGlotFake数据集为社交媒体平台、新闻机构及网络安全公司提供了强有力的工具，用于自动识别和过滤跨语言传播的深度伪造视频。例如，平台可利用基于该数据集训练的检测模型，实时拦截利用语音克隆和唇形同步技术生成的虚假政治演讲或欺诈性商业广告。此外，该数据集还支持多语言环境下的人脸识别系统安全评估，帮助金融机构验证远程身份认证中视频的真实性，从而有效遏制信息篡改与身份伪造带来的社会危害。

数据集最近研究

最新研究方向

随着生成式人工智能的迅猛发展，多模态深度伪造技术通过同时操控视频中的音频与视觉信息，显著提升了伪造内容的逼真度，对全球信息安全构成了严峻挑战。在此背景下，PolyGlotFake数据集应运而生，它作为首个覆盖七种语言的多语言、多模态深度伪造数据集，汇集了多种前沿的文本转语音、语音克隆及唇形同步技术，弥补了现有数据集在语言多样性和技术先进性上的不足。当前，该领域的前沿研究方向聚焦于跨语言、跨模态的深度伪造检测方法，探索如何应对全球化传播趋势下伪造内容的技术迭代与语言泛化问题。PolyGlotFake的提出不仅推动了多模态检测算法的基准测试与泛化能力评估，也为追踪溯源伪造技术源头、构建更鲁棒的防御体系提供了关键数据支撑，具有重要的学术价值与现实意义。

相关研究论文

• PolyGlotFake: A Novel Multilingual and Multimodal DeepFake Dataset

  九州大学 · 2024年