Multi-Modal Forgery Reasoning dataset (MMFR-Dataset)

MMFR-Dataset是一个大规模的合成图像数据集，包含跨10个生成模型的10万张图像，并提供了10种类型的伪造推理注释。该数据集不仅涵盖了单一视觉模态，还提供了结构化的推理注释，使得视觉语言模型能够系统地解释伪造属性。数据集的构建是通过GPT-4o生成注释，并由人类专家进行审核和结构化处理。

MMFR-Dataset is a large-scale synthetic image dataset containing 100,000 images across 10 generative models, with 10 types of forensic reasoning annotations provided. Beyond covering a single visual modality, this dataset also offers structured reasoning annotations, enabling vision-language models to systematically interpret forgery attributes. The dataset was constructed by generating annotations via GPT-4o, which were then reviewed and structurally processed by human experts.

搜集汇总

数据集介绍

构建方式

MMFR-Dataset的构建采用了多模态融合的方法，通过整合10种不同生成模型产生的10万张图像，并辅以10类伪造推理标注。研究团队设计了专门的伪造解释提示模板，指导GPT-4o提取细粒度的伪造属性特征，并采用层次化思维链框架将生成结果结构化。该数据集通过人工专家验证过滤无效标注，最终形成包含图像-文本对的大规模基准，其中训练集包含50,268张合成图像与50,909张真实图像，评估集则均衡覆盖扩散模型和生成对抗网络的最新生成结果。

特点

该数据集的核心优势在于其多模态特性和结构化标注体系。不同于传统单模态伪造检测数据集，MMFR-Dataset不仅包含视觉样本，还整合了详尽的语义推理标注，涵盖光照一致性、纹理异常等10类伪造特征。其思维链式标注框架将推理过程分解为摘要、描述、推理、结论四个阶段，支持模型进行系统性伪造分析。数据分布的多样性体现在覆盖Stable Diffusion、StyleGAN等10种前沿生成模型，且通过LAION和DiffusionDB等权威数据源保证样本质量，为跨模型泛化研究提供了理想基准。

使用方法

使用该数据集时，建议采用端到端的视觉语言模型训练范式。研究者可将图像输入视觉编码器获取特征表示，同时将结构化推理文本作为监督信号。通过跨模态对比学习对齐图像与伪造语义特征，并利用分类概率映射器将语言模型输出转化为二分类概率。评估时应采用图像级准确率（ACC）和文本相似度（BLEU/ROUGE）双指标，分别衡量检测性能和推理质量。对于新生成模型的适应性测试，建议采用数据集的评估子集进行零样本验证，以全面检验模型泛化能力。

背景与挑战

背景概述

Multi-Modal Forgery Reasoning dataset (MMFR-Dataset)由北京邮电大学和清华大学的研究团队于2025年推出，旨在解决AI生成图像检测领域的关键问题。随着深度生成模型的快速发展，AI生成的图像在政治宣传、金融欺诈等领域的滥用风险日益凸显，亟需建立可泛化且可解释的检测机制。该数据集包含来自10种生成模型的10万张图像，并标注了10类伪造属性，通过视觉语言模型(VLMs)实现结构化推理，显著提升了检测的准确性和可解释性。MMFR-Dataset的推出为AI生成图像检测领域提供了首个支持多模态推理的大规模基准，推动了该领域从单一检测向检测-推理一体化研究的范式转变。

当前挑战

MMFR-Dataset面临的核心挑战体现在两个维度：在领域问题层面，需克服生成模型间的显著领域差距，不同模型生成的图像具有独特伪影特征，导致检测器泛化能力受限；同时，传统基于显著性的解释方法不适用于全像素合成的AI图像，需要建立新的可解释性框架。在构建过程中，主要挑战包括：跨模态对齐难题——需要精确协调视觉特征与语言描述的伪造属性；标注复杂性——依赖GPT-4o生成细粒度推理标注时需设计专门的伪造解释提示模板；以及质量管控——需专家团队对自动生成的12.9万条伪造推理进行人工验证，确保标注可靠性。

常用场景

经典使用场景

在多媒体内容安全领域，MMFR-Dataset通过整合10种生成模型产生的10万张图像及其结构化伪造推理标注，为AI生成图像的检测与解释提供了标准化评估基准。该数据集最典型的应用场景是训练和验证视觉-语言模型（VLMs）在跨模型泛化场景下的伪造检测能力，例如在检测Stable Diffusion与StyleGAN等不同架构生成的图像时，模型需通过分析光照不一致性、纹理异常等语义特征实现通用化判断。

实际应用

该数据集在社交媒体内容审核、数字证据鉴定等实际场景中具有重要价值。例如，平台可利用其训练的模型识别政治宣传中的AI生成图像，通过输出结构化推理报告（如'人物面部光照与背景不匹配'）增强审核透明度。在金融领域，结合FakeReasoning框架可快速定位深度伪造合同中的纹理异常，辅助人工核验。其多模态标注体系还能支持教育领域开展数字素养培训。

衍生相关工作

MMFR-Dataset催生了多项创新研究：1) AntifakePrompt将伪造检测重构为视觉问答任务，利用提示工程激活VLMs的潜在知识；2) Bi-LORA通过LoRA微调BLIP-2模型，实现文本生成与伪造检测的协同优化；3) FatFormer基于该数据集构建跨模态注意力机制，在CLIP零样本检测中取得突破。这些工作共同推进了多模态伪造分析从二分类检测向可解释推理的范式转变。