IMAGENET-C, ICONS-50

本文介绍了两个新的数据集：IMAGENET-C和ICONS-50，用于评估图像分类器的鲁棒性。IMAGENET-C包含75种常见的视觉损坏，应用于ImageNet对象识别挑战，旨在作为评估图像损坏鲁棒性的通用数据集。ICONS-50则专注于表面变化鲁棒性，包含10,000张来自不同技术公司的图标图像，用于研究对新样式和已知对象的意外实例的鲁棒性。这两个数据集的创建和应用，有助于推动网络学习基本类别结构并稳健地泛化到意外输入的研究。

This paper presents two novel datasets, IMAGENET-C and ICONS-50, for evaluating the robustness of image classifiers. IMAGENET-C includes 75 common visual corruptions applied to the ImageNet Object Recognition Challenge, aiming to serve as a general-purpose dataset for assessing robustness against image corruptions. ICONS-50, by contrast, focuses on robustness to surface variations. It contains 10,000 icon images sourced from various technology companies, and is designed for researching robustness against unseen instances of novel styles and known objects. The creation and application of these two datasets facilitate research on enabling neural networks to learn fundamental category structures and generalize robustly to unexpected inputs.

搜集汇总

数据集介绍

构建方式

IMAGENET-C数据集的构建方式是通过将75种常见的视觉干扰应用到ImageNet对象识别挑战的验证图像上，从而创建了一个用于评估图像分类器鲁棒性的基准数据集。这些干扰包括噪声、模糊、天气和数字类别，每种类型都有五个不同严重程度。通过这种方式，IMAGENET-C旨在提供一个通用的数据集，用于评估模型在各种常见干扰下的性能，并防止方法上的问题，如目标移动和结果挑选。

特点

IMAGENET-C数据集的特点在于其广泛的干扰类型和严重程度，这使得它成为一个全面的基准，可以评估模型在各种现实世界干扰下的鲁棒性。数据集的干扰类型包括高斯噪声、雪、霜、雾、亮度、对比度等，每种干扰都有五个不同的严重程度，从轻微到严重。此外，数据集还包含了额外的干扰类型，以支持进一步的研究和实验。

使用方法

IMAGENET-C数据集的使用方法是在不使用IMAGENET-C图像进行训练的情况下，评估当前深度学习系统在IMAGENET-C图像上的性能。研究者可以将现有的分类器应用于IMAGENET-C数据集，并使用提供的度量标准（如平均CE和相对CE）来评估模型的鲁棒性。通过这种方式，研究者可以比较不同模型在IMAGENET-C上的表现，并探索提高模型鲁棒性的方法。

背景与挑战

背景概述

IMAGENET-C数据集是由加利福尼亚大学伯克利分校的Dan Hendrycks和俄勒冈州立大学的Thomas G. Dietterich于2019年提出的，旨在为图像分类器的鲁棒性提供一个严格的基准。该数据集通过在ImageNet图像识别挑战的验证图像上应用75种常见的视觉退化，标准化和扩展了退化鲁棒性的主题。IMAGENET-C通过评估模型在常见退化上的性能，展示了哪些分类器在安全关键应用中更可取，并发现了增强退化鲁棒性的方法。随后，研究人员提出了一个新的数据集ICONS-50，以开启对表面变化鲁棒性的研究。该数据集评估了分类器在新风格和已知类的意外实例上的脆弱性，并展示了两种提高表面变化鲁棒性的方法。这两个基准可能有助于未来的研究，以构建能够学习基本类结构并且能够鲁棒泛化的网络。

当前挑战

IMAGENET-C和ICONS-50数据集提出了计算机视觉和机器学习领域的重要挑战。IMAGENET-C评估了模型在常见退化上的鲁棒性，而ICONS-50则评估了模型在面对表面变化时的鲁棒性。这两个基准都旨在克服现有深度学习分类器的脆弱性，这些分类器依赖于虚假的相关性或不必要的线索。在构建IMAGENET-C时，研究人员遇到了将退化应用于图像的挑战，并需要确保这些退化在现实世界场景中具有代表性。在构建ICONS-50时，研究人员面临着从不同技术公司和平台收集具有不同风格和亚型的图标图像的挑战。这两个数据集的创建为评估和改进深度学习模型的鲁棒性提供了宝贵的资源，并为未来的研究开辟了新的方向。

常用场景

经典使用场景

IMAGENET-C 数据集被广泛应用于评估和提升图像分类器对于常见图像腐蚀的鲁棒性。该数据集涵盖了15种不同的腐蚀类型，每种类型都有5个不同的严重程度级别，从而为研究者提供了一个全面评估模型鲁棒性的平台。通过对模型在IMAGENET-C上的性能进行评估，研究者可以了解模型在面对实际图像处理任务时的表现，并针对性地进行优化。

衍生相关工作

IMAGENET-C 数据集的提出，催生了一系列相关的研究工作。例如，研究者们提出了多种提升图像分类器鲁棒性的方法，包括稳定性训练、图像去噪、使用更小的模型等。这些方法在 IMAGENET-C 数据集上进行了评估和比较，为图像分类器的鲁棒性研究提供了重要的参考。此外，IMAGENET-C 数据集还激发了对于图像表面变化鲁棒性的研究，例如 ICONS-50 数据集的提出，进一步推动了图像分类器鲁棒性的研究。

数据集最近研究

最新研究方向

本研究通过引入IMAGENET-C和ICONS-50数据集，为图像分类器的鲁棒性评估提供了新的基准。IMAGENET-C数据集涵盖了常见的图像损坏类型，用于评估模型在面对常见图像损坏时的鲁棒性。而ICONS-50数据集则用于评估模型在面对表面变化时的鲁棒性，如新风格和已知类别的新实例。通过这两个数据集，研究者们可以更全面地评估和改进深度学习模型的鲁棒性，使其能够更好地泛化到真实世界中的各种情况。

相关研究论文

• Benchmarking Neural Network Robustness to Common Corruptions and Surface Variations

  加州大学伯克利分校 · 2019年