Hard-Spurious-ImageNet

Hard-Spurious-ImageNet是一个合成数据集，由ImageNet1k衍生而来，包含具有各种背景、物体位置和物体大小的图像。该数据集旨在解决模型在对象区域与图像比例较小时，以及对象远离图像中心时，过度依赖背景中的虚假特征进行预测的问题。Hard-Spurious-ImageNet通过控制物体的大小和位置，帮助研究人员构建对虚假特征更强的鲁棒模型。

Hard-Spurious-ImageNet is a synthetic dataset derived from ImageNet-1k, which contains images with diverse backgrounds, variable object positions and sizes. This dataset aims to address the issue where models excessively rely on spurious background features for prediction when the ratio of the object region to the entire image is small, or when the object is far from the image center. Hard-Spurious-ImageNet helps researchers develop models with stronger robustness against spurious features by controlling the size and position of objects.

搜集汇总

数据集介绍

构建方式

Hard-Spurious-ImageNet数据集通过系统性地操纵ImageNet1k中的图像构建而成，旨在研究物体大小和位置对模型依赖虚假背景特征的影响。构建过程中，首先利用Inpaint-Anything工具去除原始图像中的核心物体，生成仅含背景的修复图像。随后将不同尺寸（56×56、84×84、112×112）的物体边界框内容重新定位至图像中心或角落，并与原始修复背景或随机选择的修复背景组合，形成具有精确控制变量的合成图像。该数据集包含四个实验组别，分别对应不同的物体位置和背景组合，共计600张测试图像和400张训练图像每类别，严格遵循ImageNet的长尾分布特性。

特点

该数据集的核心价值在于其精确控制的实验变量设计：通过系统调节物体尺寸（占图像面积的1/64至1/4）、位置（中心/角落）与背景类型（原始/随机），构建了具有明确层级难度的评估体系。特别值得注意的是，其衍生版本Hard-Spurious-ImageNet-v2精选了10个具有高虚假特征的背景类别，与10个强核心特征的前景类别组合，形成了更具挑战性的测试场景。数据统计分析显示，物体中心化程度（Cc）与尺寸分数（Sc）与模型对虚假特征的依赖呈显著负相关（Kendall's τ=-0.266~-0.293），为研究视觉偏置提供了量化依据。

使用方法

该数据集主要用于评估计算机视觉模型对核心特征的鲁棒性。使用时需将图像统一缩放至224×224分辨率，采用ImageNet的标准均值和标准差进行归一化。基准测试表明，当核心物体尺寸减小至56×56时，主流模型在角落随机背景组（CoR）的准确率骤降至14.98%（ConvNext-Base）甚至0%（ResNet-50）。建议研究者在模型开发中采用分层评估策略：将112×尺寸的中心组（CeO）作为基线，逐步测试模型在84×/56×尺寸及角落位置的性能衰减。对于鲁棒性方法研究，可重点考察模型在Hard组（56×/84×尺寸的CeR/CoR组）的表现，该组别准确率较常规测试平均下降59.2个百分点。

背景与挑战

背景概述

Hard-Spurious-ImageNet是由曼海姆大学的Mishal Fatima、Steffen Jung和Margret Keuper于2025年提出的一个合成数据集，旨在研究图像分类模型中背景、物体位置和大小对虚假特征依赖的影响。该数据集基于ImageNet1k构建，通过控制物体在图像中的位置和大小，以及背景的虚假特征，为研究模型在复杂环境下的鲁棒性提供了新的工具。其核心研究问题在于揭示物体位置和大小的偏差如何影响模型对虚假背景特征的依赖，进而挑战现有模型的泛化能力。这一数据集的提出为计算机视觉领域，尤其是图像分类和模型鲁棒性研究，提供了重要的实验平台。

当前挑战

Hard-Spurious-ImageNet面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，该数据集旨在解决图像分类中模型对虚假背景特征的过度依赖问题，尤其是在物体位置偏离中心或物体尺寸较小时，模型的分类性能显著下降。构建过程中的挑战包括：1) 依赖ImageNet的标注边界框，而部分图像的标注可能不完整或不准确；2) 合成数据生成过程中需精确控制物体位置、大小和背景的虚假特征，技术复杂度较高；3) 分割掩模质量对实验结果的影响，部分物体的分割结果可能不够精确。这些挑战为数据集的进一步完善和应用提出了新的研究方向。

常用场景

经典使用场景

Hard-Spurious-ImageNet数据集在计算机视觉领域中被广泛用于研究深度学习模型对虚假特征的依赖问题。通过控制图像中核心特征的大小和位置，该数据集能够精确模拟不同场景下的虚假背景相关性，为研究者提供了一个标准化的评估平台。在模型鲁棒性研究中，该数据集常用于测试模型在核心特征变化时的表现，特别是在对象尺寸缩小或位置偏离中心时的分类准确性。

解决学术问题

该数据集解决了深度学习模型中因虚假特征导致的误分类问题。通过定量分析ImageNet中的位置和尺寸偏差，研究者能够更深入地理解模型如何依赖背景信息进行预测。实验表明，当核心特征尺寸较小或位置偏离中心时，模型更容易受到虚假背景的影响。这一发现为开发更鲁棒的分类算法提供了理论基础，并揭示了现有去偏方法在应对尺寸和位置变化时的局限性。

衍生相关工作

基于Hard-Spurious-ImageNet数据集，研究者们开展了一系列相关的工作。例如，有研究探索了不同网络架构（如ConvNext和ResNet）在该数据集上的表现差异。此外，一些工作提出了新的去偏方法，如深度特征重加权（DFR）和两次训练（JTT），以应对尺寸和位置变化带来的挑战。这些衍生工作进一步推动了模型鲁棒性研究的发展，并为解决虚假特征依赖问题提供了新的思路。