COCO-Inpaint

COCO-Inpaint是一个专门为图像修复检测设计的大规模基准数据集，由上海交通大学和蚂蚁集团共同创建。该数据集包含由六个最先进的修复模型生成的258,266张高质量的修复图像，并具有丰富的语义多样性。数据集的设计着重于修复区域与真实区域之间的内在不一致性，而非表面的语义特征，如物体形状。COCO-Inpaint旨在解决图像修复检测和定位问题，以应对图像编辑和对象移除等领域中的数字完整性和信息安全问题。

COCO-Inpaint is a large-scale benchmark dataset specifically designed for image inpainting detection, jointly created by Shanghai Jiao Tong University and Ant Group. This dataset contains 258,266 high-quality inpainted images generated by six state-of-the-art inpainting models, and features rich semantic diversity. The design of the dataset focuses on the intrinsic inconsistencies between inpainted regions and real regions, rather than superficial semantic features such as object shapes. COCO-Inpaint aims to address image inpainting detection and localization tasks, so as to tackle challenges related to digital integrity and information security in domains such as image editing and object removal.

搜集汇总

数据集介绍

构建方式

COCO-Inpaint数据集构建于MS-COCO数据集基础上，采用六种先进的图像修复模型（包括SD1.5-Inpainting、SDXL-Inpainting等）生成修复样本。通过四种掩码生成策略（分割掩码、边界框、随机多边形和随机框）以及两种文本引导模式（有/无文本提示），系统性地构建了258,266张修复图像和117,266张真实图像。为确保数据多样性，采用分层采样策略，平衡不同修复模型、掩码类型和文本引导的组合，同时通过最大化中心裁剪预处理消除插值干扰。

特点

该数据集的核心特点在于其多维度的层次结构设计：1）覆盖六种主流修复模型生成的修复痕迹，强调修复区域与真实区域的内在不一致性而非表面语义伪影；2）通过结构化与随机掩码的组合模拟真实场景下的多样化篡改行为；3）引入文本引导维度以评估不同语义条件下的检测鲁棒性。数据规模与多样性经过严格验证，可支持跨模型、跨掩码类型和跨引导条件的细粒度性能评估，为图像修复检测领域提供了迄今最全面的基准测试平台。

使用方法

使用COCO-Inpaint时需遵循分层评估协议：1）图像级任务区分修复/真实图像，采用ACC、AUC和F1指标；2）像素级定位任务采用全局像素统计法计算相同指标，避免传统逐图像平均导致的未定义问题。建议按模型架构（CNN/ViT）、掩码类型、掩码比例（0.4-0.6区间表现最佳）和文本引导条件进行交叉验证，特别注意ViT模型在跨模型泛化中的优势。数据集支持端到端训练和零样本测试，其层次化结构允许针对特定篡改场景（如文本引导修复）的专项研究。

背景与挑战

背景概述

COCO-Inpaint是由上海交通大学和蚂蚁集团的研究团队于2025年提出的图像修复检测与定位基准数据集。该数据集基于MS-COCO构建，包含258,266张由六种先进修复模型（包括SD1.5-Inpainting、SDXL-Inpainting等）生成的修复图像，涵盖四种掩模生成策略和文本引导模式。其核心研究目标是解决现有图像篡改检测方法在修复型篡改上的泛化性不足问题，通过强调修复区域与真实区域的内在不一致性，而非依赖表面语义伪影，推动多媒体真实性验证领域的发展。数据集通过分层评估协议验证了视觉Transformer架构在修复检测任务中的优越性，为数字内容安全提供了重要的基准工具。

当前挑战

COCO-Inpaint面临双重技术挑战：在领域问题层面，修复型篡改因高度视觉连贯性导致传统基于拼接/复制-移动的检测方法失效（如CASIA数据集模型在随机多边形掩模测试中F1值下降60%），需解决低信噪比特征提取难题；在构建层面，需平衡六种修复模型的风格差异与四种掩模策略的多样性，其中随机掩模与对象语义解耦的设计使模型平均定位精度波动达15.8%。此外，文本引导产生的语义一致性提升（文本引导图像AUC达99.9%）与无引导图像的检测敏感性差异，进一步增加了基准构建的复杂度。

常用场景

经典使用场景

COCO-Inpaint数据集在图像修复检测与篡改定位领域具有广泛的应用场景。该数据集通过六种先进的修复模型（如SD1.5-Inpainting、SDXL-Inpainting等）生成高质量的修复样本，并结合四种掩模生成策略（分割、边界框、随机多边形和随机框）以及文本引导选项，为研究者提供了一个全面且多样化的基准测试平台。其经典使用场景包括评估现有图像篡改检测与定位（IMDL）方法在修复图像上的性能，以及开发新的检测算法。

实际应用

在实际应用中，COCO-Inpaint数据集为多媒体真实性验证和网络安全提供了重要支持。例如，在社交媒体内容审核中，该数据集可用于训练和评估检测修复图像的算法，从而识别潜在的虚假或篡改内容。此外，在法律取证和新闻真实性验证领域，该数据集的高质量修复样本和精确的掩模标注有助于开发更准确的篡改定位工具，提升数字内容的可信度。

衍生相关工作

COCO-Inpaint数据集衍生了一系列经典的图像修复检测与定位研究。例如，基于该数据集的IMDL方法（如IML-ViT和SegFormer）在修复图像检测任务中表现出色，尤其在跨模型和跨掩模泛化能力方面取得了显著进展。此外，该数据集还推动了文本引导修复图像检测的研究，揭示了文本条件对检测性能的影响。这些工作不仅验证了数据集的实用价值，也为未来研究提供了重要参考。