ImageNet-X, ImageNet-FS-X, Wilds-FS-X

该仓库引入了三个新的OOD检测基准数据集：ImageNet-X用于评估在具有挑战性的语义变化下的性能，ImageNet-FS-X用于全谱OOD检测，评估对协变量变化（特征分布变化）的鲁棒性，Wilds-FS-X将这些评估扩展到真实世界的数据集，提供了一个更全面的测试平台。

This repository introduces three novel out-of-distribution (OOD) detection benchmark datasets: ImageNet-X for evaluating model performance under challenging semantic shifts, ImageNet-FS-X for full-spectrum OOD detection that assesses robustness against covariate shifts (i.e., changes in feature distributions), and Wilds-FS-X which extends these evaluations to real-world datasets to provide a more comprehensive testbed.

原始信息汇总

A Benchmark and Evaluation for Real-World Out-of-Distribution Detection Using Vision-Language Models

Abstract

• 介绍了三个新颖的OOD检测基准，分别为ImageNet-X、ImageNet-FS-X和Wilds-FS-X，用于更深入地理解方法特性并反映真实世界条件。

Data

• 数据集包括ImageNet-1k、ImageNet variant datasets、iWildCam和FMoW。
• 数据下载和准备的具体步骤已给出。

Supported Benchmarks

• ImageNet-X：对ImageNet-1k进行分割，基于WordNet层次结构将语义相似的标签分为ID和OOD。
• ImageNet-FS-X：在ImageNet-X的基础上引入协变量偏移。
• Wilds-FS-X (iWildCam)：使用Wilds的iWildCam数据集，将ImageNet-FS-X的问题设置更接近真实世界场景。
• Wilds-FS-X (FMoW)：使用FMoW数据集，对应不同的建筑或土地利用类别和图像捕获年份的变化。

Supported Methods

• 支持的方法包括MCM、GL-MCM、CoOp和LoCoOp。

Citation

• 提供了相关的论文引用信息。

搜集汇总

数据集介绍

构建方式

本研究团队针对现实世界中的异常检测问题，构建了三个新颖的OOD检测基准：ImageNet-X、ImageNet-FS-X和Wilds-FS-X。ImageNet-X通过基于WordNet层次结构将语义相似的标签分为ID和OOD类别，以精确评估对语义变化的敏感性；ImageNet-FS-X在ImageNet-X的基础上引入了协变量变化；Wilds-FS-X则将问题设置接近现实世界场景，使用Wilds数据集进行评估。

特点

这些数据集的特点在于更接近现实世界的OOD检测场景，能够更全面地评估模型的性能。ImageNet-X和ImageNet-FS-X利用ImageNet-1k数据集，而Wilds-FS-X则使用了野生动物照片和RGB卫星图像数据集，以不同物种和不同时间点的图像作为语义和协变量变化的来源。

使用方法

使用这些数据集时，用户需先创建相应的数据文件夹，并下载所需的ID和OOD数据集。安装必要的第三方依赖后，可以通过运行提供的脚本进行训练和评估。此外，用户可以参考模板文件来添加自定义的训练器，以适应不同的研究需求。

背景与挑战

背景概述

ImageNet-X、ImageNet-FS-X以及Wilds-FS-X是由东京大学、LY Corporation和东京科学大学的研究人员共同开发的三项新颖的基准数据集。这些数据集旨在应对传统基准测试性能饱和的挑战，通过反映现实世界条件，深化对方法特性的理解。ImageNet-X设计用于评估在具有挑战性的语义转换下的性能；ImageNet-FS-X则用于全谱系OOD检测，评估对协变量转换（特征分布转换）的鲁棒性；Wilds-FS-X将评估扩展到现实世界数据集，提供了一个更全面的测试平台。这些数据集的提出，为视觉语言模型在现实世界OOD检测的应用奠定了基础，对相关领域产生了重要影响。

当前挑战

这些数据集在构建过程中面临的挑战包括：1)如何精确地区分语义相似的标签，以实现ID和OOD类别的分离；2)如何处理不同协变量分布下的数据，以模拟现实世界中的变化；3)如何将评估结果与现实世界场景紧密结合，确保模型的泛化能力和鲁棒性。此外，当前的方法在应对这些数据集时也面临挑战，如模型对语义转换的敏感度、对不同协变量分布的适应能力以及如何在现实世界数据上保持高性能等问题。

常用场景

经典使用场景

在现实世界的数据分布中，模型往往面临着超出训练集分布的输入，即分布外（OOD）数据。ImageNet-X、ImageNet-FS-X、Wilds-FS-X数据集为此提供了三种新颖的OOD检测基准，它们旨在深入理解方法特性并反映现实世界的条件。ImageNet-X通过将语义上相似的概念分为ID和OOD类别，对模型在语义偏移下的敏感性进行精确评估；ImageNet-FS-X引入了协变量偏移，以评估模型在不同协变量分布上的鲁棒性；Wilds-FS-X则将评估拓展到现实世界数据集，提供了更全面的测试平台。

实际应用

在实际应用中，这些数据集可以帮助开发出更鲁棒的视觉系统，这些系统能够在遇到训练数据集中未见的对象或场景时，仍然能够可靠地执行任务。例如，自动驾驶汽车在识别罕见或不寻常的物体时，能够准确判断其不属于已知类别，从而避免错误分类带来的风险。

衍生相关工作

基于这些数据集，已经衍生出了一系列相关工作，如GL-MCM、LoCoOp等，它们在零样本和少样本OOD检测方面取得了显著进展。此外，相关综述工作也指出，在视觉语言模型时代，OOD检测及其扩展研究正在向更广义的方向发展。