有没有相关的论文或文献参考？
这个数据集是基于什么背景创建的？
数据集的作者是谁？
能帮我联系到这个数据集的作者吗？
这个数据集如何下载？
Multi-Modal Tramper Tracing (MMTT)|深度伪造数据集|伪造检测数据集
收藏arXiv2024-12-27 更新2024-12-31 收录
下载链接：
http://arxiv.org/abs/2412.19685v1
下载链接
链接失效反馈资源简介：
MMTT数据集是一个大规模的多模态伪造追踪数据集，由西安交通大学、合肥工业大学等机构联合创建。该数据集包含128,303个伪造的面部图像-文本对，每个图像都经过深度伪造技术的处理，并配有手工标注的详细解释文本。数据集的构建基于CelebAMask-HQ和Flickr-Faces-HQ数据集，采用面部交换和图像修复技术生成伪造图像，并通过人工标注流程确保高质量的文本解释。MMTT数据集旨在支持可解释的伪造定位研究，帮助模型不仅识别伪造区域，还能生成解释性报告，提升伪造检测的透明度和可信度。
提供机构：
西安交通大学, 合肥工业大学, CSIRO, 澳门大学
创建时间：
2024-12-27
AI搜集汇总
数据集介绍
构建方式
Multi-Modal Tramper Tracing (MMTT) 数据集的构建基于 CelebAMask-HQ 和 Flickr-Faces-HQ 数据集，采用了多种深度伪造技术，包括人脸交换和图像修复。具体而言，数据集通过随机选择目标图像并替换原始图像中的面部区域，或通过图像修复技术对特定面部区域进行修改。每张伪造图像均生成了像素级的伪造掩码，并通过人工标注的方式，详细描述了伪造区域的特征。整个标注过程采用人机协作的方式，确保标注的准确性和可解释性。最终，数据集包含了 128,303 个图像-文本对，涵盖了多种伪造类型和面部区域。
特点
MMTT 数据集的特点在于其多模态性和高可解释性。数据集不仅提供了像素级的伪造掩码，还包含了详细的文本描述，解释了伪造区域的具体特征和异常表现。这种结合图像和文本的多模态设计，使得数据集在伪造检测和解释任务中具有显著优势。此外，数据集涵盖了多种伪造技术，包括基于 GAN 的人脸交换、基于 Transformer 和扩散模型的图像修复，进一步增强了数据集的多样性和挑战性。数据集中的伪造区域分布广泛，涉及眼睛、眉毛、嘴唇等多个面部区域，为模型提供了丰富的训练和测试场景。
使用方法
MMTT 数据集的使用方法主要围绕伪造定位和解释任务展开。研究人员可以利用数据集中的图像和对应的伪造掩码，训练模型进行像素级的伪造区域检测。同时，结合文本描述，模型可以进一步生成对伪造区域的解释性报告，增强模型的可解释性。数据集还可用于评估多模态模型在伪造检测和解释任务中的性能，特别是在处理复杂伪造场景时的表现。此外，数据集的公开性和高质量标注，为相关领域的研究提供了可靠的基准，促进了伪造检测技术的进一步发展。
背景与挑战
背景概述
Multi-Modal Tramper Tracing (MMTT) 数据集由西安交通大学、合肥工业大学等机构的研究团队于2024年提出，旨在解决图像伪造定位中的解释性问题。该数据集包含128,303个经过深度伪造技术处理的面部图像及其对应的手工标注的文本解释。MMTT的构建基于CelebAMaskHQ和Flickr-Faces-HQ数据集，采用面部交换和图像修复技术生成伪造图像，并通过人工标注详细描述伪造区域的特征。该数据集的提出为图像伪造定位领域提供了新的研究方向，特别是在解释性方面，填补了现有数据集仅提供二进制掩码的不足。MMTT的发布推动了ForgeryTalker等模型的开发，进一步提升了伪造检测的透明度和准确性。
当前挑战
MMTT数据集在构建和应用过程中面临多重挑战。首先，图像伪造定位任务本身具有高度复杂性，现代伪造技术生成的图像在视觉上几乎与真实图像无异，导致伪造区域的检测极为困难。其次，数据集的构建需要高质量的标注，人工标注者需仔细对比原始图像与伪造图像，识别并描述伪造区域的细微差异，这一过程耗时且容易出错。此外，数据集的多模态特性要求图像与文本之间的高度一致性，这对模型的训练和评估提出了更高的要求。最后，尽管MMTT在解释性方面取得了显著进展，但如何进一步提升伪造定位的精度和解释的准确性，仍是未来研究的重要方向。
常用场景
经典使用场景
Multi-Modal Tramper Tracing (MMTT) 数据集在图像伪造检测领域具有广泛的应用，特别是在面部图像的伪造定位和解释任务中。该数据集通过结合深度伪造技术和手动可解释的文本注释，为研究人员提供了一个多模态的基准。经典的使用场景包括训练和评估模型，以识别图像中被篡改的区域，并生成详细的解释性报告，帮助理解模型预测的依据。
解决学术问题
MMTT 数据集解决了传统图像伪造检测方法中的多个学术问题。首先，它弥补了传统二进制伪造掩码在解释模型预测方面的不足，提供了更丰富的上下文信息。其次，该数据集通过引入多模态的文本注释，增强了伪造定位的可解释性，使模型不仅能够识别篡改区域，还能解释篡改的原因。此外，MMTT 数据集还支持对复杂伪造技术的深入研究，帮助提升模型在检测现代伪造技术中的性能。
衍生相关工作
MMTT 数据集推动了多个相关研究领域的发展。基于该数据集，研究人员开发了 ForgeryTalker 框架，该框架结合了伪造定位和解释生成，显著提升了模型的性能。此外，MMTT 数据集还激发了多模态伪造检测方法的研究，推动了图像伪造检测与自然语言处理的结合。其他衍生工作还包括基于该数据集的深度学习模型优化，以及针对特定伪造技术的检测算法改进。
以上内容由AI搜集并总结生成
数据主题
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集
中国区域地面气象要素驱动数据集 v2.0（1951-2024）
中国区域地面气象要素驱动数据集（China Meteorological Forcing Data，以下简称 CMFD）是为支撑中国区域陆面、水文、生态等领域研究而研发的一套高精度、高分辨率、长时间序列数据产品。本页面发布的 CMFD 2.0 包含了近地面气温、气压、比湿、全风速、向下短波辐射通量、向下长波辐射通量、降水率等气象要素，时间分辨率为 3 小时，水平空间分辨率为 0.1°，时间长度为 74 年（1951~2024 年），覆盖了 70°E~140°E，15°N~55°N 空间范围内的陆地区域。CMFD 2.0 融合了欧洲中期天气预报中心 ERA5 再分析数据与气象台站观测数据，并在辐射、降水数据产品中集成了采用人工智能技术制作的 ISCCP-ITP-CNN 和 TPHiPr 数据产品，其数据精度较 CMFD 的上一代产品有显著提升。 CMFD 历经十余年的发展，其间发布了多个重要版本。2019 年发布的 CMFD 1.6 是完全采用传统数据融合技术制作的最后一个 CMFD 版本，而本次发布的 CMFD 2.0 则是 CMFD 转向人工智能技术制作的首个版本。此版本与 1.6 版具有相同的时空分辨率和基础变量集，但在其它诸多方面存在大幅改进。除集成了采用人工智能技术制作的辐射和降水数据外，在制作 CMFD 2.0 的过程中，研发团队尽可能采用单一来源的再分析数据作为输入并引入气象台站迁址信息，显著缓解了 CMFD 1.6 中因多源数据拼接和气象台站迁址而产生的虚假气候突变。同时，CMFD 2.0 数据的时间长度从 CMFD 1.6 的 40 年大幅扩展到了 74 年，并将继续向后延伸。CMFD 2.0 的网格空间范围虽然与 CMFD 1.6 相同，但其有效数据扩展到了中国之外，能够更好地支持跨境区域研究。为方便用户使用，CMFD 2.0 还在基础变量集之外提供了若干衍生变量，包括近地面相对湿度、雨雪分离降水产品等。此外，CMFD 2.0 摒弃了 CMFD 1.6 中通过 scale_factor 和 add_offset 参数将实型数据化为整型数据的压缩技术，转而直接将实型数据压缩存储于 NetCDF4 格式文件中，从而消除了用户使用数据时进行解压换算的困扰。 本数据集原定版本号为 1.7，但鉴于本数据集从输入数据到研制技术都较上一代数据产品有了大幅的改变，故将其版本号重新定义为 2.0。CMFD 2.0 的数据内容与此前宣传的 CMFD 1.7 基本一致，仅对 1983 年 7 月以后的向下短/长波辐射通量数据进行了更新，以修正其长期趋势存在的问题。
国家青藏高原科学数据中心 收录
学生课堂行为数据集 (SCB-dataset3)
学生课堂行为数据集(SCB-dataset3)由成都东软学院创建，包含5686张图像和45578个标签，重点关注六种行为：举手、阅读、写作、使用手机、低头和趴桌。数据集覆盖从幼儿园到大学的不同场景，通过YOLOv5、YOLOv7和YOLOv8算法评估，平均精度达到80.3%。该数据集旨在为学生行为检测研究提供坚实基础，解决教育领域中学生行为数据集的缺乏问题。
arXiv 收录
LIDC-IDRI
LIDC-IDRI 数据集包含来自四位经验丰富的胸部放射科医师的病变注释。 LIDC-IDRI 包含来自 1010 名肺部患者的 1018 份低剂量肺部 CT。
OpenDataLab 收录
坐姿检测数据集
该数据集用于训练和测试深度学习模型，以检测和识别用户的坐姿是否正确。数据集包含训练集和测试集，用于模型的训练和验证。
github 收录
WorldClim
WorldClim是一个全球气候数据集，提供了全球范围内的气候数据，包括温度、降水、生物气候变量等。数据集的分辨率从30秒到10分钟不等，适用于各种尺度的气候分析和建模。
www.worldclim.org 收录