MSTF|深度伪造检测数据集|人脸识别数据集

arXiv2024-12-18 更新2024-12-25 收录

深度伪造检测

人脸识别

下载链接：

http://arxiv.org/abs/2412.13656v1

下载链接

链接失效反馈

资源简介：

MSTF是由中山大学构建的全球首个大规模多场景对话人脸数据集，旨在填补对话人脸生成检测领域的数据集空白。该数据集包含超过14万条音频和视频数据，涵盖22种伪造技术、11种生成场景和20多种语义场景，更贴近实际应用场景。数据集的创建过程结合了多种图像、音频和视频数据源，通过模拟多种生成场景，确保数据集的多层次一致性。MSTF主要应用于对话人脸生成检测领域，旨在解决现有深度伪造检测方法在对话人脸视频中的局限性，推动高精度检测技术的发展。

提供机构：

中山大学

创建时间：

2024-12-18

AI搜集汇总

数据集介绍

构建方式

MSTF数据集的构建基于多模态和多场景的深度伪造技术，涵盖了22种音频和视频伪造技术，模拟了11种生成场景和超过20种语义场景。数据集的构建过程包括从多个公开数据集中收集图像、视频和音频数据，如CelebA-HQ、VoxCeleb、DFDC等，并结合文本到语音（TTS）技术生成伪造音频。通过不同的输入组合，如真实音频驱动的生成和伪造音频驱动的生成，数据集进一步丰富了生成场景的多样性。此外，数据集还引入了额外的参考信息，如表情、头部运动等，以生成更具真实感的视频。

使用方法

MSTF数据集的使用方法主要围绕多模态一致性分析展开。研究者可以通过数据集提供的音频和视频数据，结合全局时间一致性检测模块（RSFDM）和局部时间一致性检测模块（V-AFM），分析视频帧之间的过渡一致性和音频与视频的模态一致性。此外，数据集还提供了差异捕捉-时间帧聚合模块（DCTAM），用于捕捉帧间的细微差异，并通过多粒度空间信息聚合提升模态对齐的精度。通过这些模块，研究者可以开发出针对Talking Face Generation（TFG）视频的高精度检测方法，并评估其在复杂场景下的鲁棒性。

背景与挑战

背景概述

MSTF数据集是由中山大学、阿里巴巴集团、郑州数学工程与先进计算国家重点实验室以及澳门大学的研究团队于2024年共同创建的首个大规模多场景对话人脸生成检测数据集。该数据集旨在解决对话人脸生成（TFG）技术滥用带来的社会风险，填补了该领域公开数据集的空白。MSTF包含了22种音频和视频伪造技术，覆盖了11种生成场景和超过20种语义场景，更贴近TFG的实际应用场景。该数据集的创建为TFG检测方法的研究提供了重要支持，推动了多模态内容一致性分析框架的发展。

当前挑战

MSTF数据集在构建和应用过程中面临多重挑战。首先，对话人脸生成技术生成的视频具有极高的视觉质量，传统的基于空间域的伪造痕迹提取方法难以有效检测，这要求检测方法必须从全局和局部多模态一致性角度进行深入分析。其次，数据集的构建需要模拟多种复杂的生成场景，涵盖不同的语义和生成技术，这对数据采集和生成过程的多样性和真实性提出了极高要求。此外，由于TFG视频在帧间过渡中可能存在细微的不一致性，如何捕捉这些细微的伪造痕迹并设计高效的检测模块，也是数据集应用中的一大挑战。

常用场景

经典使用场景

MSTF数据集在生成式人工智能领域，特别是对话脸生成（TFG）检测中，具有广泛的应用。该数据集通过涵盖22种音频和视频伪造技术，以及11种生成场景，为研究者提供了一个多场景、多模态的基准测试平台。其经典使用场景包括检测TFG视频中的伪造痕迹，尤其是在全球和局部多模态一致性分析框架下，评估视频的时空一致性和视听同步性。

解决学术问题

MSTF数据集填补了TFG检测领域缺乏公开数据集的空白，解决了现有深度伪造检测方法在TFG视频上表现不佳的问题。由于TFG视频具有更高的视觉质量和精确的视听同步，传统的基于空间域或频率域的检测方法难以有效捕捉伪造痕迹。MSTF通过提供大规模、多场景的数据，支持研究者开发针对TFG的专用检测方法，提升了检测的准确性和鲁棒性。

实际应用

在实际应用中，MSTF数据集被广泛用于开发对抗生成式人工智能滥用的检测工具。例如，社交媒体平台可以利用基于MSTF训练的模型，自动识别和过滤虚假的TFG视频，防止虚假信息的传播。此外，该数据集还可用于法律取证领域，帮助识别和验证视频的真实性，尤其是在涉及名人或政治人物的虚假声明案件中。

数据集最近研究

相关研究论文

1
GLCF: A Global-Local Multimodal Coherence Analysis Framework for Talking Face Generation Detection中山大学 · 2024年

以上内容由AI搜集并总结生成

用户留言

有没有相关的论文或文献参考？

这个数据集是基于什么背景创建的？

数据集的作者是谁？

能帮我联系到这个数据集的作者吗？

这个数据集如何下载？

点击留言

数据主题

具身智能

数据集 4098个

机构 8个

大模型

数据集 439个

机构 10个

无人机

数据集 37个

机构 6个

指令微调

数据集 36个

机构 6个

蛋白质结构

数据集 50个

机构 8个

空间智能

数据集 21个

机构 5个

5,000+

优质数据集

54 个

任务类型

进入经典数据集

热门数据集

VoxBox

VoxBox是一个大规模语音语料库，由多样化的开源数据集构建而成，用于训练文本到语音（TTS）系统。

github 收录

中亚主要国家的原油资源的储量、产量、消费量及其占世界比重（1985-2016）

中亚五国中，石油资源主要分布在哈萨克斯坦、乌兹别克斯坦、土库曼斯坦三个国家。根据BP世界能源统计年鉴，经整理、抽取、计算和汇总后，形成中亚主要国家（哈萨克斯坦、乌兹别克斯坦、土库曼斯坦）原油资源的储量、产量、消费量及其占世界比重的统计表。主要指标包括：（1）储量，1991-2016年，单位：百万吨（2）产量，1985-2016年，单位：百万吨（3）储产比，1991-2016年，单位：百万吨（4）消费量，1985-2016年，单位：百万吨（5）产消差额，1985-2016年，单位：百万吨此外，以上数据均包括中亚地区的哈萨克斯坦、乌兹别克斯坦、土库曼斯坦、三国汇总以及世界总量的情况。

地球大数据科学工程收录

Figshare

Figshare是一个在线数据共享平台，允许研究人员上传和共享各种类型的研究成果，包括数据集、论文、图像、视频等。它旨在促进科学研究的开放性和可重复性。

figshare.com 收录

学生课堂行为数据集 (SCB-dataset3)

学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。

arXiv 收录

China Groundgroundwater Monitoring Network

该数据集包含中国地下水监测网络的数据，涵盖了全国范围内的地下水位、水质和相关环境参数的监测信息。数据包括但不限于监测站点位置、监测时间、水位深度、水质指标（如pH值、溶解氧、总硬度等）以及环境因素（如气温、降水量等）。