bitmind/FakeClue

FakeClue数据集是一个大规模的多模态数据集，旨在帮助进行合成图像检测和人工制品解释。它包含超过10万张跨多个类别的图像，每张图像都与用自然语言详细描述图像中合成元素的细粒度人工制品注释配对。数据集包括来自GenImage、FF++和Chameleon等开源数据集的图像，以及为遥感文档图像生成的专用合成数据。

FakeClue is a large-scale, multimodal dataset designed to aid in synthetic image detection and artifact explanation. It consists of over 100,000 images across many categories. Each image is paired with fine-grained artifact annotations in natural language, detailing the synthetic elements present within the image. The dataset includes images from open-source datasets like GenImage, FF++, and Chameleon, as well as specialized synthetic data generated for remote sensing and document images.

搜集汇总

数据集介绍

构建方式

FakeClue数据集是一个大规模多模态合成图像检测与伪影解释数据集，由来自GenImage、FF++、Chameleon等开源数据集以及针对遥感与文档图像专门生成的合成数据构成。该重组版本将原始数据从“类别→标签”的层级结构重构为“标签→类别”形式，即先按假/真标签划分，再在下属类别中细分为chameleon、doc、ff++、genimage、satellite五类，从而便于按标签统一筛选和平衡数据集。

特点

该数据集包含超过10万张图像，每张图像均配有细粒度的自然语言伪影注释，详细描述图像中存在的合成元素。其独特之处在于覆盖了多种图像类型，包括通用生成图像、人脸篡改图像、文档图像及遥感图像，并提供了统一的标签与类别筛选接口。训练集与测试集均以假图像为主，总计超过10.9万张假图像，为合成图像检测任务提供了丰富的训练与评估资源。

使用方法

用户可通过HuggingFace的datasets库加载该数据集，调用load_dataset函数即可获取训练集和测试集。支持按标签（fake/real）或类别（如satellite）进行过滤，例如使用filter方法筛选出所有假图像或特定类别的图像。每条记录包含PIL图像对象、标签、类别、文件名及原始路径，便于直接用于图像分类模型的训练与评估。

背景与挑战

背景概述

随着生成式人工智能技术的迅猛发展，尤其是扩散模型与多模态大模型的涌现，合成图像在视觉真实感上已逼近甚至超越人类判别能力，由此引发的深度伪造检测问题成为计算机视觉与信息安全领域的前沿热点。在此背景下，2025年由Siwei Wen、Junyan Ye等研究者主导的FakeClue数据集应运而生，其核心研究问题聚焦于合成图像的精准检测与伪影解释。该数据集汇聚了来自GenImage、FaceForensics++、Chameleon等多个开源基准的逾十万张图像，涵盖自然场景、人脸、文档及遥感影像等多元类别，并创新性地为每张图像配以细粒度的自然语言伪影注解，从而为多模态伪造检测模型提供了训练与评估的坚实基石。FakeClue的提出不仅弥补了现有数据集在类别多样性与可解释性上的不足，更推动了从单一分类向可解释伪造检测的范式转型，在学术界与工业界均产生了深远影响。

当前挑战

FakeClue数据集所应对的核心领域挑战在于合成图像检测任务中伪影的多样性与隐蔽性——不同生成模型（如GAN与扩散模型）产生的伪影在纹理、颜色与结构上差异显著，而现有检测方法往往难以泛化至未见过的伪造类型。此外，构建过程中面临多重困难：首先，需从多个异源数据集中整合并统一标注格式，确保各子集（如卫星影像与文档图像）在标签语义上的一致性；其次，为每张图像生成高质量的自然语言伪影描述，要求标注者具备跨模态理解能力，且需避免主观偏差；最后，数据集规模超过十万张，需兼顾类别平衡与真实样本的充分覆盖，而当前版本仅包含伪造图像，真实样本的缺失可能限制模型对真实世界分布的学习。

常用场景

经典使用场景

在深度伪造检测与合成图像识别领域，FakeClue数据集以其大规模、多模态和细粒度伪影标注的独特优势，成为模型训练与评估的基石。该数据集汇聚了超过十万张涵盖自然图像、文档、人脸、生成图像及遥感影像五大类别的样本，每张图像均附有自然语言描述的伪影解释。研究者通常利用其按标签（真/假）与类别（如chameleon、ff++、genimage）灵活筛选的结构，构建二分类或多分类深度伪造检测模型，并借助丰富的语义标注开展可解释性分析，从而揭示合成图像中难以察觉的伪造痕迹。

实际应用

在实际应用中，FakeClue数据集为社交媒体平台、新闻机构及司法取证系统提供了强有力的技术支撑。例如，面对日益泛滥的AI生成人脸、伪造文档及篡改遥感影像，基于该数据集训练的检测模型可用于自动审核用户上传图像，识别深度伪造视频与合成文本图像。在金融领域，该数据集帮助构建反欺诈系统，辨别伪造的合同、发票或证件影像。此外，在遥感情报分析中，针对卫星图像的合成检测能力有助于防范虚假地理信息传播，保障国家安全与公共信任。

衍生相关工作

FakeClue数据集的发布催生了一系列衍生工作与创新研究。其原始论文《Spot the Fake: Large Multimodal Model-Based Synthetic Image Detection with Artifact Explanation》率先提出了结合大语言模型进行伪影解释的检测框架，启发了后续将视觉语言模型融入伪造检测的尝试。社区基于该数据集开发了多种多模态融合的检测器，并探索了伪影分割与生成式解释的联合训练方法。此外，其重新组织的版本（label→category层级结构）简化了数据加载与类别平衡操作，被广泛用于对比实验与基准测试，推动了可解释深度伪造检测领域的标准化进程。