MSTF

MSTF是由中山大学构建的全球首个大规模多场景对话人脸数据集，旨在填补对话人脸生成检测领域的数据集空白。该数据集包含超过14万条音频和视频数据，涵盖22种伪造技术、11种生成场景和20多种语义场景，更贴近实际应用场景。数据集的创建过程结合了多种图像、音频和视频数据源，通过模拟多种生成场景，确保数据集的多层次一致性。MSTF主要应用于对话人脸生成检测领域，旨在解决现有深度伪造检测方法在对话人脸视频中的局限性，推动高精度检测技术的发展。

MSTF is the world's first large-scale multi-scenario conversational face dataset constructed by Sun Yat-sen University, aiming to fill the gap of datasets in the field of conversational face generation detection. This dataset contains over 140,000 audio and video data samples, covering 22 types of forgery technologies, 11 generation scenarios and more than 20 semantic scenarios, making it more aligned with real-world application scenarios. The construction of the dataset integrates multiple image, audio and video data sources, and simulates diverse generation scenarios to ensure the multi-level consistency of the dataset. MSTF is primarily applied in the field of conversational face generation detection, aiming to address the limitations of existing deepfake detection methods in conversational face videos and promote the development of high-precision detection technologies.

搜集汇总

数据集介绍

构建方式

MSTF数据集的构建基于多模态和多场景的深度伪造技术，涵盖了22种音频和视频伪造技术，模拟了11种生成场景和超过20种语义场景。数据集的构建过程包括从多个公开数据集中收集图像、视频和音频数据，如CelebA-HQ、VoxCeleb、DFDC等，并结合文本到语音（TTS）技术生成伪造音频。通过不同的输入组合，如真实音频驱动的生成和伪造音频驱动的生成，数据集进一步丰富了生成场景的多样性。此外，数据集还引入了额外的参考信息，如表情、头部运动等，以生成更具真实感的视频。

使用方法

MSTF数据集的使用方法主要围绕多模态一致性分析展开。研究者可以通过数据集提供的音频和视频数据，结合全局时间一致性检测模块（RSFDM）和局部时间一致性检测模块（V-AFM），分析视频帧之间的过渡一致性和音频与视频的模态一致性。此外，数据集还提供了差异捕捉-时间帧聚合模块（DCTAM），用于捕捉帧间的细微差异，并通过多粒度空间信息聚合提升模态对齐的精度。通过这些模块，研究者可以开发出针对Talking Face Generation（TFG）视频的高精度检测方法，并评估其在复杂场景下的鲁棒性。

背景与挑战

背景概述

MSTF数据集是由中山大学、阿里巴巴集团、郑州数学工程与先进计算国家重点实验室以及澳门大学的研究团队于2024年共同创建的首个大规模多场景对话人脸生成检测数据集。该数据集旨在解决对话人脸生成（TFG）技术滥用带来的社会风险，填补了该领域公开数据集的空白。MSTF包含了22种音频和视频伪造技术，覆盖了11种生成场景和超过20种语义场景，更贴近TFG的实际应用场景。该数据集的创建为TFG检测方法的研究提供了重要支持，推动了多模态内容一致性分析框架的发展。

当前挑战

MSTF数据集在构建和应用过程中面临多重挑战。首先，对话人脸生成技术生成的视频具有极高的视觉质量，传统的基于空间域的伪造痕迹提取方法难以有效检测，这要求检测方法必须从全局和局部多模态一致性角度进行深入分析。其次，数据集的构建需要模拟多种复杂的生成场景，涵盖不同的语义和生成技术，这对数据采集和生成过程的多样性和真实性提出了极高要求。此外，由于TFG视频在帧间过渡中可能存在细微的不一致性，如何捕捉这些细微的伪造痕迹并设计高效的检测模块，也是数据集应用中的一大挑战。

常用场景

经典使用场景

MSTF数据集在生成式人工智能领域，特别是对话脸生成（TFG）检测中，具有广泛的应用。该数据集通过涵盖22种音频和视频伪造技术，以及11种生成场景，为研究者提供了一个多场景、多模态的基准测试平台。其经典使用场景包括检测TFG视频中的伪造痕迹，尤其是在全球和局部多模态一致性分析框架下，评估视频的时空一致性和视听同步性。

解决学术问题

MSTF数据集填补了TFG检测领域缺乏公开数据集的空白，解决了现有深度伪造检测方法在TFG视频上表现不佳的问题。由于TFG视频具有更高的视觉质量和精确的视听同步，传统的基于空间域或频率域的检测方法难以有效捕捉伪造痕迹。MSTF通过提供大规模、多场景的数据，支持研究者开发针对TFG的专用检测方法，提升了检测的准确性和鲁棒性。

实际应用

在实际应用中，MSTF数据集被广泛用于开发对抗生成式人工智能滥用的检测工具。例如，社交媒体平台可以利用基于MSTF训练的模型，自动识别和过滤虚假的TFG视频，防止虚假信息的传播。此外，该数据集还可用于法律取证领域，帮助识别和验证视频的真实性，尤其是在涉及名人或政治人物的虚假声明案件中。

数据集最近研究

最新研究方向

随着生成式人工智能技术的迅猛发展，Talking Face Generation（TFG）技术在数字人生成领域展现出巨大潜力，但其滥用也带来了严重的社会风险。MSTF数据集的提出填补了该领域大规模多场景数据集的空白，为TFG检测方法的研究提供了重要支持。该数据集涵盖了22种音视频伪造技术和11种生成场景，极大提升了检测模型的泛化能力。当前研究热点聚焦于多模态一致性分析，特别是通过全局时间一致性和局部视听一致性来捕捉伪造痕迹。MSTF数据集的引入不仅推动了TFG检测技术的发展，也为应对未来更复杂的生成式伪造挑战奠定了坚实基础。

相关研究论文

• GLCF: A Global-Local Multimodal Coherence Analysis Framework for Talking Face Generation Detection

  中山大学 · 2024年