Voxel51/ImageNet-A

ImageNet-A是一个包含7450个样本的数据集，主要用于图像分类任务。该数据集通过对抗性过滤创建，包含自然、未修改的真实世界图像，这些图像能够可靠地欺骗当前的ImageNet分类器。数据集中的图像属于200个ImageNet类别，这些类别避免了过于细粒度的类别和具有大量重叠的类别。数据集创建过程中，作者首先下载了与200个类别相关的图像，然后删除了固定ResNet-50分类器能够正确预测的图像，最后手动选择了视觉上清晰的图像。该数据集可用于测试输入数据分布变化时的图像分类性能，并可用于测量模型对分布变化的鲁棒性。

ImageNet-A is a dataset with 7450 samples, primarily used for image classification tasks. The dataset is created through adversarial filtering and contains natural, unmodified real-world images that reliably fool current ImageNet classifiers. The images in the dataset belong to 200 ImageNet classes, which avoid overly fine-grained classes and classes with substantial overlap. During the dataset creation process, the authors first downloaded images related to the 200 classes, then removed images that fixed ResNet-50 classifiers could correctly predict, and finally manually selected visually clear images. This dataset can be used to test image classification performance when the input data distribution shifts and to measure model robustness to distribution shifts.

原始信息汇总

ImageNet-A 数据集概述

基本信息

• 数据集名称: ImageNet-A
• 样本数量: 7450
• 语言: 英语 (en)
• 任务类别: 图像分类 (image-classification)
• 标签: fiftyone, image, image-classification

数据集描述

ImageNet-A 是一个包含对抗性过滤图像的数据集，这些图像能够可靠地欺骗当前的 ImageNet 分类器。该数据集包含自然、未经修改的真实世界示例，这些示例能够转移到各种未见过的 ImageNet 模型中，表明这些模型与对抗性选择的图像共享弱点。这些图像在各种模型中导致一致的分类错误。

数据集创建过程

1. 图像下载: 作者首先下载了与 ImageNet 类别相关的众多图像。
2. 过滤过程: 删除了固定 ResNet-50 分类器正确预测的图像。
3. 手动选择: 从剩余的错误分类图像中手动选择视觉清晰的图像。
4. 最终数据集: 最终的 ImageNet-A 数据集包含约 7500 张对抗性过滤的图像。

数据集用途

ImageNet-A 数据集用于测试图像分类性能，特别是在输入数据分布发生变化时。它可用于测量模型对分布变化的鲁棒性，使用具有挑战性的自然图像。

数据集来源

• 图像来源: 从 iNaturalist、Flickr 和 DuckDuckGo 等来源下载与 200 个 ImageNet 类别相关的图像。
• 过滤标准: 过滤掉固定 ResNet-50 分类器能够正确预测的图像，保留欺骗分类器的图像。
• 手动选择标准: 从剩余的错误分类图像中手动选择视觉清晰的单类图像。

数据集贡献者

• 创建者: Jacob Steinhardt, Dawn Song
• 资助方: UC Berkeley
• 共享者: Harpreet Sahota, Hacker-in-Residence at Voxel51

许可证

• 许可证: MIT

引用

bibtex @article{hendrycks2021nae, title={Natural Adversarial Examples}, author={Dan Hendrycks and Kevin Zhao and Steven Basart and Jacob Steinhardt and Dawn Song}, journal={CVPR}, year={2021} }

搜集汇总

背景与挑战

背景概述

ImageNet-A是一个包含7450个对抗性过滤图像的数据集，专门用于测试图像分类器在自然但具有挑战性的图像上的鲁棒性。这些图像经过精心筛选，能够可靠地欺骗多种ImageNet模型，适用于研究模型在分布变化下的性能表现。