ImageNet-ES

ImageNet-ES是一个用于图像分类的基准数据集，专注于研究鲁棒性和分布外协变量偏移。该数据集通过真实相机在可控测试环境中捕获了202k张图像，涵盖了由光线和相机传感器因素变化引起的广泛协变量偏移。数据集结构包括训练集（es-train）、验证集（es-val）和测试集（es-test），每个子集包含不同环境条件和拍摄参数下的图像样本。此外，数据集还利用了ES-Studio测试床进行数据收集，该测试床能够控制物理光线和相机传感器参数。

原始信息汇总

ImageNet-ES 数据集概述

数据集基本信息

• 数据集名称：ImageNet-ES
• 许可协议：CC BY 4.0
• 任务类别：图像分类
• 主要语言：英语
• 标签：基准测试、图像分类、分布外、鲁棒性、传感器控制、光线控制、真实照片
• 数据规模：100K < n < 1M

核心特点与目的

该数据集通过可控测试台使用真实相机直接采集了 202k 张图像，以弥补传统鲁棒性基准测试依赖数字扰动的不足。数据集呈现了由光线和相机传感器因素变化引起的广泛协变量偏移。

数据集结构

数据集分为三个主要部分：

• es-train：包含 tin_no_resize_sample_removed 子集，即 Tiny-ImageNet 中无参考的 8K 原始验证样本。
• es-val：包含三个子集：
  • auto_exposure：10K 图像（1K 参考样本 × 2 种环境 × 5 次拍摄）
  • param_control：128K 图像（1K 参考样本 × 2 种环境 × 64 次拍摄）
  • sampled_tin_no_resize：参考样本（1K）
• es-test：包含三个子集：
  • auto_exposure：10K 图像（1K 参考样本 × 2 种环境 × 5 次拍摄）
  • param_control：54K 图像（1K 参考样本 × 2 种环境 × 27 次拍摄）
  • sampled_tin_no_resize2：参考样本（1K）

数据采集环境：ES-Studio

为补偿当前鲁棒性基准测试中缺失的扰动，研究团队构建了一个新的测试台 ES-Studio（环境和相机传感器扰动工作室）。该测试台可在数据采集过程中控制物理光线和相机传感器参数。

下载方式

可通过以下命令直接下载数据集： bash wget https://huggingface.co/datasets/Edw2n/ImageNet-ES/resolve/main/ImageNet-ES.zip

相关资源

• 论文：https://openaccess.thecvf.com/content/CVPR2024/html/Baek_Unexplored_Faces_of_Robustness_and_Out-of-Distribution_Covariate_Shifts_in_Environment_CVPR_2024_paper.html
• GitHub 仓库：https://github.com/Edw2n/ImageNet-ES
• 数据集图片：https://raw.githubusercontent.com/Edw2n/ImageNet-ES/main/supples/ImageNet-ES.jpg
• 测试台示意图：https://raw.githubusercontent.com/Edw2n/ImageNet-ES/main/supples/Testbed.png
• 测试台实拍图：https://raw.githubusercontent.com/Edw2n/ImageNet-ES/main/supples/Testbed_actual.jpg

引用信息

bibtex @InProceedings{Baek_2024_CVPR, author = {Baek, Eunsu and Park, Keondo and Kim, Jiyoon and Kim, Hyung-Sin}, title = {Unexplored Faces of Robustness and Out-of-Distribution: Covariate Shifts in Environment and Sensor Domains}, booktitle = {Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)}, month = {June}, year = {2024}, pages = {22294--22303} }

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，评估模型鲁棒性常依赖于数字扰动生成的合成数据，而ImageNet-ES数据集则通过物理采集方式构建，以更贴近真实世界的变化。研究团队设计了一个名为ES-Studio的可控测试平台，通过调节物理光照条件和相机传感器参数，直接使用真实相机捕捉了总计20.2万张图像。数据收集过程涵盖了自动曝光与参数控制两种环境设置，每种设置下均基于Tiny-ImageNet的参考样本进行多角度拍摄，从而系统性地引入了由环境和传感器因素导致的协变量偏移。

特点

该数据集的核心特征在于其协变量偏移的真实性与多样性，这些偏移并非通过算法模拟，而是源于实际物理条件的变化。数据集包含了光照强度、相机曝光等传感器参数在可控环境下的广泛变动，生成了丰富的真实图像变异。其结构清晰划分为训练、验证与测试子集，其中验证与测试集进一步细分为自动曝光和参数控制两大类别，每类均包含大量在不同环境配置下捕获的样本，为模型鲁棒性评估提供了贴近实际应用场景的基准数据。

使用方法

研究者可利用ImageNet-ES数据集对图像分类模型的鲁棒性与分布外泛化能力进行深入评估。数据集已按标准划分提供，用户可直接下载压缩包并加载相应子集。在验证或测试阶段，可将模型在es-train子集上训练后，于es-val和es-test子集上评估其在不同光照与传感器扰动下的性能表现。通过分析模型在自动曝光与参数控制等具体扰动类别上的准确率变化，能够量化模型对真实世界协变量偏移的敏感度，进而推动更具鲁棒性的视觉模型开发。

背景与挑战

背景概述

在计算机视觉领域，模型鲁棒性评估长期依赖于数字合成扰动，这类方法难以完全模拟真实物理世界中的复杂变化。ImageNet-ES数据集于2024年由研究团队在CVPR会议上提出，其核心创新在于构建了一个可控的物理测试平台ES-Studio，通过直接操控光照条件与相机传感器参数，采集了超过20万张真实图像。该数据集旨在深入探究环境与传感器域中的协变量偏移问题，为模型在真实场景下的泛化能力与鲁棒性提供了更为贴近实际的评估基准，推动了视觉系统从仿真环境向物理世界过渡的研究进程。

当前挑战

该数据集致力于解决图像分类模型在真实物理环境变化下的鲁棒性评估挑战，特别是光照与传感器参数变动所引发的协变量偏移问题。传统基于数字扰动的基准测试往往无法充分反映物理世界的复杂性，而ImageNet-ES通过构建可控测试平台，直接捕获真实协变量偏移，填补了这一空白。在构建过程中，研究团队面临的主要挑战包括设计并实现能够精确、可重复控制光照与传感器参数的物理采集系统，确保大规模数据采集的效率和一致性，以及将采集的物理扰动数据与现有基准进行有效对齐和评估，以提供具有可比性和洞察力的分析结果。

常用场景

经典使用场景

在计算机视觉领域，模型鲁棒性评估长期依赖于数字合成的扰动，而ImageNet-ES通过可控测试台直接采集真实图像，为研究环境与传感器协变量偏移提供了经典场景。该数据集广泛应用于图像分类模型的鲁棒性基准测试，尤其在光照变化和相机传感器参数控制条件下，评估模型在真实物理扰动下的泛化能力，弥补了传统基准在现实世界适应性方面的不足。

解决学术问题

该数据集有效解决了计算机视觉中模型对真实世界协变量偏移的鲁棒性评估难题。传统方法多基于数字扰动，难以捕捉物理环境中的复杂变化，ImageNet-ES通过精确控制光照和传感器参数，生成了涵盖广泛协变量偏移的真实图像，为研究分布外泛化、模型鲁棒性理论提供了可靠数据基础，推动了视觉系统在动态环境中的稳定性研究。

衍生相关工作

基于ImageNet-ES的协变量偏移特性，衍生了一系列经典研究工作，主要集中在鲁棒性增强算法和分布外检测方法上。例如，研究者利用该数据集开发了针对光照和传感器扰动的自适应训练策略，并推动了跨域泛化技术的创新，相关成果已在CVPR等顶级会议发表，为视觉系统的环境适应性研究开辟了新方向。