DFBench

DFBench是一个用于评估大型多模态模型在Deepfake图像检测方面能力的基准数据集。

DFBench is a benchmark dataset designed to evaluate the capabilities of large multi-modal models in detecting Deepfake images.

原始信息汇总

DFBench 数据集概述

数据集基本信息

• 名称: DFBench
• 用途: 评估大型多模态模型在深度伪造图像检测方面的能力
• 相关论文: DFBench: Benchmarking Deepfake Image Detection Capability of Large Multimodal Models
• 数据集地址: Hugging Face 数据集

数据集内容

• 数据文件:
  • img_train_shuffled.json
  • img_test.json
  • img_train_shuffled.jsonl
  • img_test.jsonl

下载方式

• Linux: bash export HF_ENDPOINT=https://hf-mirror.com huggingface-cli download IntMeGroup/DFBench --repo-type dataset --local-dir ./DFBench

• Windows Powershell: bash $env:HF_ENDPOINT = "https://hf-mirror.com" huggingface-cli download IntMeGroup/DFBench --repo-type dataset --local-dir ./DFBench

数据集特征

• 特征分布:
  • 真实图像（无失真）
  • 真实图像（有失真）
  • AI编辑图像
  • AI生成图像

相关模型

• Qwen2.5-VL-7B-Instruct
• InternVL2_5-8B
• InternVL3-9B

训练与评估

• 训练脚本: train.sh
• 评估脚本: eval_deepfake.sh
• 结果计算: logit_calculation.py, process_results.py

可视化

• 特征分布图: feature_distribution.py, plot_features.py

引用

bibtex @misc{wang2025dfbenchbenchmarkingdeepfakeimage, title={DFBench: Benchmarking Deepfake Image Detection Capability of Large Multimodal Models}, author={Jiarui Wang and Huiyu Duan and Juntong Wang and Ziheng Jia and Woo Yi Yang and Xiaorong Zhu and Yu Zhao and Jiaying Qian and Yuke Xing and Guangtao Zhai and Xiongkuo Min}, year={2025}, eprint={2506.03007}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2506.03007}, }

联系方式

• 邮箱: [e-mail]

搜集汇总

数据集介绍

构建方式

在深度伪造技术日益精进的背景下，DFBench数据集通过严谨的构建流程为多模态大模型的检测能力评估提供了基准。该数据集采用MoA-DF架构，整合了三种大型多模态模型作为核心检测器，通过对输入图像进行独立概率预测并聚合结果，确保了数据标注的可靠性。构建过程中特别设计了包含原始图像、失真图像、AI编辑图像和AI生成图像的四类样本，并通过标准化流程进行数据清洗与标注，为深度伪造检测研究提供了全面且高质量的基准数据。

使用方法

该数据集的使用遵循标准化的深度学习研究流程，研究者可通过Hugging Face平台直接获取完整数据集。使用前需配置包含Python 3.9的虚拟环境，并安装flash-attn等特定依赖项。数据集支持端到端的模型训练与评估，提供针对Qwen2.5-VL、InternVL2.5等主流多模态模型的专用训练脚本。评估阶段可通过logit_calculation.py等脚本自动计算检测准确率，配套的特征分布分析工具还能可视化模型在不同伪造类型上的表现差异。

背景与挑战

背景概述

DFBench是由IntMeGroup团队于2025年推出的一个专注于评估大型多模态模型在深度伪造图像检测方面能力的基准数据集。该数据集旨在解决数字媒体领域中日益严重的深度伪造技术带来的安全挑战，特别是在图像真实性鉴别方面的核心问题。通过整合多种真实图像、失真图像、AI编辑图像及AI生成图像，DFBench为研究人员提供了一个全面评估模型性能的平台。其提出的MoA-DF架构采用多模型概率聚合策略，显著提升了检测的鲁棒性，对推动数字媒体安全领域的发展具有重要影响。

当前挑战

DFBench面临的挑战主要体现在两个方面：在领域问题层面，深度伪造技术不断演进，生成的图像质量越来越高，使得传统检测方法难以区分真实与伪造内容，这对模型的泛化能力和鲁棒性提出了极高要求；在数据集构建层面，如何平衡数据多样性（包括不同来源、不同失真程度的图像）与标注准确性是一大难题，同时确保数据集的规模足够大以覆盖各种伪造技术也是一项复杂任务。此外，多模态模型的整合与优化过程中，如何有效聚合不同模型的输出并保持高精度检测同样具有挑战性。

常用场景

经典使用场景

在数字媒体安全领域，DFBench数据集为评估大型多模态模型在深度伪造图像检测方面的能力提供了标准化基准。通过包含真实图像、经过处理的真实图像、AI编辑图像以及AI生成图像等多种样本，该数据集能够全面测试模型在不同场景下的检测性能。研究人员可以利用DFBench对模型进行训练和评估，从而验证其在复杂环境中的鲁棒性和准确性。

解决学术问题

DFBench数据集解决了深度伪造检测领域中的关键学术问题，包括模型在多样化数据上的泛化能力、对细微伪造痕迹的识别能力以及在对抗性攻击下的稳定性。通过提供丰富的样本和详细的标注，该数据集为研究者提供了可靠的实验基础，推动了深度伪造检测技术的理论发展和算法优化。其意义在于为学术界提供了一个统一的评估平台，促进了相关研究的可比性和可重复性。

实际应用

在实际应用中，DFBench数据集可广泛应用于社交媒体内容审核、数字身份验证系统以及司法取证等领域。例如，社交媒体平台可以利用基于该数据集训练的模型自动识别并过滤深度伪造内容，防止虚假信息的传播。在金融和安全领域，该数据集有助于开发更可靠的生物特征识别系统，有效防范身份欺诈行为。

数据集最近研究

最新研究方向

在数字内容安全领域，DFBench数据集的推出标志着针对深度伪造图像检测的大规模多模态模型评估迈入新阶段。该数据集通过整合真实图像、失真图像、AI编辑图像及AI生成图像四类特征分布，为研究者提供了全面的基准测试平台。当前研究聚焦于开发基于MoA-DF架构的集成检测方法，通过融合Qwen2.5-VL、InternVL2.5和InternVL3等先进视觉语言模型的概率输出，显著提升了伪造图像识别的鲁棒性。随着生成式AI技术的爆发式发展，此类基准在应对Deepfake技术滥用、维护数字内容可信度方面具有重要战略意义，相关成果已被应用于社交媒体内容审核和数字证据鉴定等实际场景。