AUDITS

AUDITS是由多所高校联合构建的大规模图像篡改检测基准数据集，旨在系统分析篡改检测模型在跨域、质量、类型和尺寸等多轴变化下的性能表现。该数据集包含53万余张图像-掩码对，源自COCO和VisualNews两大视觉域，并采用11种先进的基于扩散模型的图像编辑技术生成多样化篡改内容，覆盖替换、移除和插入三类操作，篡改区域面积占比从1%到100%不等。数据集的构建过程通过精心设计的采样策略，确保在图像主题、新闻来源和对象类别上具有广泛多样性，并引入人类感知质量标注以评估篡改逼真度对检测的影响。该数据集主要应用于计算机视觉安全领域，旨在解决现有篡改检测方法在复杂多轴分布偏移下泛化能力不足的问题，为开发更可靠、可泛化的图像篡改定位模型提供关键研究基础。

AUDITS is a large-scale image forgery detection benchmark dataset jointly constructed by multiple universities, aiming to systematically analyze the performance of forgery detection models under multi-axis variations such as cross-domain, quality, type and size. The dataset contains over 530,000 image-mask pairs sourced from two visual domains: COCO and VisualNews. It adopts 11 state-of-the-art diffusion-model-based image editing techniques to generate diverse forgery contents, covering three types of operations: replacement, removal and insertion, with the area proportion of tampered regions ranging from 1% to 100%. The dataset construction process adopts a carefully designed sampling strategy to ensure broad diversity in image topics, news sources and object categories, and introduces human-perceived quality annotations to evaluate the impact of forgery realism on detection performance. This dataset is mainly applied in the field of computer vision security, aiming to address the insufficient generalization ability of existing forgery detection methods under complex multi-axis distribution shifts, and provide a critical research foundation for developing more reliable and generalizable image forgery localization models.

原始信息汇总

数据集概述：AUDITS (Image Manipulation Dataset)

基本信息

• 语言：英语（en）
• 许可证：MIT
• 数据集大小：100K ~ 1M 样本（训练集包含 529,057 个示例）
• 任务类别：掩码生成（mask-generation）
• 标签：基准测试、图像、操作、检测、视觉

数据集结构

数据集包含 train.zip、val.zip 和 test.zip 三个压缩文件，每个文件包含以下类型的图像：

• 被操作的图像（manipulated）
• 原始图像（original）
• 掩码图像（mask）

同时附带元数据文件（metadata.csv）。

特征字段

每个样本包含以下特征：

字段名	数据类型	说明
caption	string	图像描述
distribution	string	分布信息
id	int64	样本ID
file_name	string	文件名
manipulation_type	string	操作类型
mask_path	string	掩码图像路径
object	string	目标对象
original_path	string	原始图像路径
source	string	数据来源
subset	string	子集名称
topic	string	主题
training	string	训练标记

数据集划分

划分	示例数量	字节数
train	529,057	~122 MB
val	未明确提供	包含在压缩包中
test	未明确提供	包含在压缩包中

使用方式

• 推荐方法：使用 Hugging Face datasets 库直接加载： python from datasets import load_dataset dataset = load_dataset("DivyaApp/AUDITS", split="train")

• 备选方法：如果加载速度过慢或失败，可手动下载页面上的 .zip 文件和 metadata.csv 文件并本地解压。

数据来源

该数据集基于以下已知数据源构建：

• Microsoft COCO: Common Objects in Context (Lin et al., 2014)
• VisualNews: Benchmark and Challenges in Entity-aware Image Captioning (Liu et al., 2020)

使用本数据集时，请引用上述原始来源。

下载大小

• 总下载大小：约 20.67 MB（压缩包）

搜集汇总

数据集介绍

构建方式

AUDITS数据集精心构建了两个子集：AUDITS-News源自VisualNews新闻数据集，包含311,989张图像；AUDITS-COCO源自MS COCO数据集，包含218,651张图像。所有操纵图像均配备真实掩码。数据集采用了11种先进的扩散模型生成操纵，涵盖替换、移除和插入三类。替换和移除操纵使用Blended Diffusion、Stable Diffusion、GLIDE、PowerPaint、Flux-Inpainting、HD-Painter及Adobe Firefly等模型，插入操纵则借助GLIGEN模型根据分割掩码生成新对象并融入原始图像。

特点

AUDITS数据集的核心特色在于支持沿四个维度的多轴分析：图像域（新闻照片与日常照片）、操纵质量（基于人工感知研究标注）、操纵类型（11种扩散技术）和操纵尺寸（从小于1%到覆盖整个图像区域）。此外，数据集还提供了人工感知标签，用于评估操纵的真实感，并且覆盖了13个新闻主题和82个COCO对象类别，确保了场景和语义的多样性。

使用方法

该数据集适用于图像操纵定位和检测任务的训练与评估。使用方法包括：在子集内进行分布内评估以衡量基础性能，或在跨子集、跨操纵类型的分布外场景下测试泛化能力。模型输出为像素级预测掩码，可基于AUC、F1值等指标评估。研究者还可利用人工感知标签分析操纵质量对检测性能的影响，或结合域泛化技术（如SWAD、MIRO）评估多轴分布偏移下的鲁棒性。

背景与挑战

背景概述

AUDITS数据集诞生于2026年，由波士顿大学、加州大学伯克利分校及达姆施塔特工业大学的研究人员联合构建。随着扩散模型等生成式人工智能的迅猛发展，图像编辑技术日益普及，其潜在的虚假信息传播风险也随之加剧。然而，现有基准大多聚焦于单一的操纵类型或图像域，难以全面评估检测模型在真实场景中的鲁棒性。为此，AUDITS应运而生，旨在系统性地探究图像操纵检测在域偏移、质量、类型与尺寸四个核心维度上的表现。该数据集规模宏大，包含超过53万张图像，覆盖COCO和VisualNews两种截然不同的图像来源，并采用了11种前沿的扩散模型操纵技术，为相关领域提供了前所未有的研究平台，有力推动了更可靠、更泛化的图像操纵检测方法的发展。

当前挑战

AUDITS所揭示的核心挑战在于现有图像操纵检测模型面对多维度分布偏移时的脆弱性。首先，在域偏移方面，模型若仅受限于单一图像源训练，常将域间差异误判为操纵痕迹，导致高误报率。其次，操纵尺寸对性能影响显著，模型普遍对大面积操纵召回率偏低，存在严重的预测偏差。再者，尽管人类能轻松辨别低质量操纵，但多数检测模型在高质量与低质量操纵上的表现差异微乎其微，表明当前方法未能有效捕获人类感知线索。此外，在构建过程中，确保不同扩散模型产生的操纵在视觉一致性上的逼真度、平衡各尺寸操纵的样本比例、以及设计能精确量化跨域迁移能力的评估协议，均是巨大挑战。最终，实验表明，即便采用域泛化技术，模型在AUDITS上的性能提升依然有限，凸显了开发更鲁棒、更通用的检测范式的紧迫性。

常用场景

经典使用场景

AUDITS数据集最经典的使用场景在于评估图像篡改定位模型在多种偏移条件下的泛化能力。研究者可基于该数据集设计实验，探究模型在面对图像源域迁移（如从日常用户照片切换至新闻图像）、篡改类型变化（如覆盖、移除、拼接等11种扩散模型操作）以及篡改区域尺度差异时的表现。通过控制这些变量，AUDITS为分析模型在真实世界中遇到的分布外样本挑战提供了标准化平台。

衍生相关工作

AUDITS衍生了一系列重要工作，包括对现有先进检测模型（如EVP、MMFusion、PSCC-Net）的全面基准测试，以及结合领域泛化技术（如SWAD、MIRO、URM）的改进尝试。这些工作发现传统领域泛化方法在多轴偏移下收效甚微，进而催生了针对多维度偏移的新算法研究。此外，基于AUDITS的人工感知标签，研究者进一步探索了人类对篡改质量的判断与模型性能之间的关联，为设计感知一致的检测系统提供了新方向。

数据集最近研究

最新研究方向

当前图像篡改检测领域的前沿研究聚焦于构建具备多轴泛化能力的评估基准，以应对生成式AI飞速发展带来的复杂篡改手法。AUDITS数据集应运而生，它突破了以往数据集仅关注单一维度的局限，开创性地整合了图像域偏移、篡改质量、类型及尺寸四大分析轴，涵盖了超过53万张来自新闻与日常照片两个截然不同视觉域的高质量图片。该数据集基于最新扩散模型生成的篡改样本，揭示了现有检测方法在跨域泛化、处理大尺寸篡改及抵抗质量扰动时所暴露的显著脆弱性，为研发更可靠、更通用的篡改定位技术提供了关键洞见与严峻挑战。

相关研究论文

• Multi-axis Analysis of Image Manipulation Localization

  波士顿大学; 加州大学伯克利分校; 达姆施塔特工业大学·黑森人工智能中心 · 2026年