DiffGround

DiffGround是一个大规模、高质量的图像差异定位数据集，由中国科学院自动化研究所等机构创建。该数据集包含具有多样化视觉变化的图像对以及查询细粒度差异的指令。它旨在推动细粒度的视觉差异感知，并包含13,625个不同的对象类别，支持双图像和多模态注释，要求进行细粒度的空间推理，为视觉-语言感知模型提供了更全面的评估。

DiffGround is a large-scale, high-quality image difference localization dataset developed by institutions including the Institute of Automation, Chinese Academy of Sciences. This dataset comprises image pairs with diverse visual variations and instructions for querying fine-grained differences. It is designed to advance fine-grained visual difference perception, includes 13,625 distinct object categories, supports dual-image and multimodal annotations, requires fine-grained spatial reasoning, and provides a more comprehensive evaluation benchmark for vision-language perception models.

搜集汇总

数据集介绍

构建方式

DiffGround数据集的构建采用了先进的图像编辑技术和人工标注相结合的方法。首先从Visual Genome数据集中筛选出符合条件的对象，并通过Qwen2-7B模型对对象可编辑性进行评分。随后利用Qwen2-VL-7B模型提取对象属性并生成替代属性或类别，再通过预定义模板生成编辑指令和查询。最后使用UltraEdit模型进行局部修改和Inpaint-Anything模型进行对象移除，生成包含多样化视觉差异的图像对。整个过程确保了数据的高质量和多样性，每个图像对包含四种不同类型的差异，对应四个特定的查询指令。

特点

DiffGround数据集具有三个显著特点：首先，其规模庞大，包含61k图像和244k对象，远超现有VG和IDC数据集；其次，数据多样性丰富，涵盖13,625种不同对象类别，覆盖了广泛的视觉场景；最后，该数据集支持双图像感知和多模态推理，要求模型同时分析两幅图像并理解文本查询，以实现细粒度的差异定位。与传统的视觉基础数据集相比，DiffGround的查询指令不包含显式对象标签，而是需要模型进行更高级的视觉-语言推理。

使用方法

使用DiffGround数据集时，研究人员可采用端到端的训练方式开发图像差异定位模型。数据集的标准输入格式为图像对(I1, I2)和四个查询指令[T1, T2, T3, T4]，输出为与查询对应的边界框坐标。评估指标采用IoU阈值为0.5的平均精度(AP@50)，并将测试集细分为外观变化、对象移除和对象替换三个子集进行分别评估。为充分发挥数据集价值，建议采用类似DiffTracker的架构，集成差异增强模块(DEM)来强化模型对跨图像差异的感知能力，同时抑制共享特征。

背景与挑战

背景概述

DiffGround数据集由中国科学院自动化研究所、北京通用人工智能研究院等机构的研究团队于2025年提出，旨在推动视觉-语言跨模态理解领域向细粒度方向发展。该数据集针对传统视觉定位任务在跨图像差异理解上的局限性，创新性地提出了图像差异定位（IDG）任务，要求模型根据自然语言指令精确定位图像对之间的差异区域。作为首个面向IDG任务的大规模基准数据集，DiffGround包含61,000张图像和244,000个标注对象，覆盖13,625种物体类别，其规模和质量显著超越了传统视觉定位和图像差异描述数据集。该数据集的建立为智能监控、人机交互等需要细粒度跨图像理解的现实场景提供了重要研究基础。

当前挑战

DiffGround数据集面临的核心挑战体现在两个维度：在任务层面，传统视觉定位方法难以处理跨图像差异理解这一新兴需求，现有模型在同时满足细粒度定位与文本指令理解方面存在显著性能瓶颈；在构建层面，数据合成过程中需要平衡真实场景复杂性与标注精确度，包括通过图像编辑技术生成多样化差异模式（如物体替换、外观变化、移除等），以及设计不包含显式类别信息的文本查询以避免模型走捷径。此外，确保每个图像对包含多个差异区域但仅响应特定查询指令，这对数据标注的严谨性和模型的多模态推理能力提出了更高要求。

常用场景

经典使用场景

DiffGround数据集在视觉与语言（V-L）多模态研究领域具有重要应用价值，尤其在图像差异定位（IDG）任务中表现突出。该数据集通过提供成对图像及自然语言查询，支持模型学习基于文本指令的细粒度跨图像差异检测。其典型使用场景包括自动监控系统中的异常检测，例如通过比对连续帧图像定位特定物体变化；以及智能编辑辅助场景，如根据用户指令精准识别并标注图像修改区域。数据集构建采用合成与人工标注结合的方法，确保了差异类型的多样性和标注的精确性。

实际应用

在实际应用层面，DiffGround支撑了多个工业级解决方案的开发。在智能安防领域，基于该数据集训练的模型可实时比对监控画面，精准定位异常物体增减或属性变化；在电子商务中，支持自动生成商品前后版本的视觉差异报告；在医学影像分析中，辅助医生通过自然语言查询定位病灶细微变化。数据集特有的移除（Remove）、替换（Replace）和外观变化（Appearance）三类差异标注，可直接迁移至质量控制、自动驾驶等需要高精度变化感知的场景。DiffTracker作为配套基线模型，在实际部署中展现出83%的移除差异检测准确率。

衍生相关工作

DiffGround的发布催生了一系列创新研究：在模型架构方面，启发了基于Diff-Encoder的跨图像特征差分增强范式，如后续工作提出的CausalDiff框架；在任务扩展维度，衍生出差异描述生成与定位的联合任务IDG-Cap，融合了IDC与IDG的双重特性；在数据集层面，推动了CityDiff等面向特定场景的差异定位基准构建。其提出的差分增强模块（DEM）设计思想被广泛借鉴，例如在遥感图像变化检测领域改进的DEM-Transformer模型，将共同特征抑制策略应用于地表覆盖分析。