ImageNet-R

该数据集旨在评估模型对于ImageNet类别艺术化呈现的鲁棒性。它对模型在非写实图像上的表现进行了评估，具体的任务为图像分类。This dataset aims to evaluate the robustness of models against artistically rendered ImageNet classes. It assesses model performance on non-photorealistic images, with the specific task being image classification.

搜集汇总

数据集介绍

构建方式

在对抗性机器学习领域，数据集的偏差问题常导致防御性能评估失真。为揭示这一现象，研究者从Flickr平台收集了百万级图像，利用DenseNet-121、ResNet-50和Inception-v3三种预训练模型进行筛选，仅保留三者均能正确分类的“易分类”图像。随后，对这些图像施加PGD攻击（扰动系数ε=0.01），并联合ResUpNet与BaRT防御机制，最终甄别出15,554张在攻击下仍能保持正确分类、且防御后易恢复的“鲁棒图像”，构成ImageNet-R数据集。

特点

ImageNet-R数据集的核心特质在于其图像具有天然的“防御友好性”：这些图像不仅对微小扰动（如ε=0.01的PGD攻击）表现出极强的抵抗力，且在遭受攻击后，即便通过简单的防御技术（如随机变换防御）也能显著恢复分类精度。实验表明，该数据集上的模型准确率在攻击前后几乎无衰减，远优于随机子集。此外，图像纹理特征（如灰度共生矩阵中的不相似度）与鲁棒性高度相关，为量化数据集的鲁棒性提供了可解释的统计指标。

使用方法

该数据集专为对抗攻击与防御的无偏基准测试设计。使用者可将其与ImageNet-A（自然对抗样本）互补，用于评估防御算法的真实性能。具体操作时，可结合论文提出的ARD（鲁棒图像占比）、AMP（最小扰动阈值）和ADF（防御友好比例）三项指标，量化数据集自身的鲁棒性偏差。此外，基于灰度共生矩阵的统计分类器可作为高效代理，快速预测图像是否属于鲁棒样本，从而在计算资源有限时辅助构建平衡的测试集。

背景与挑战

背景概述

在对抗性机器学习领域，数据集的偏倚问题长期困扰着防御算法的公平评估。ImageNet-R数据集由西澳大学的Camilo Pestana、Wei Liu、David Glance和Ajmal Mian于2020年创建，旨在揭示并量化图像在对抗攻击下的鲁棒性差异。该研究首次提出“防御友好型图像”概念，即那些不仅难以被扰动，而且在简单防御下更易恢复正确分类的图像。ImageNet-R包含超过15000张从Flickr收集的鲁棒图像，这些图像经过多模型一致分类筛选，并采用PGD攻击与ResUpNet、BaRT等防御方法验证其稳定性。该数据集弥补了ImageNet-A等现有基准的不足，为对抗攻击与防御的无偏测评提供了关键资源，推动了对抗鲁棒性研究的深入发展。

当前挑战

ImageNet-R数据集的核心挑战在于解决图像分类领域因数据集偏倚导致的防御性能误判问题。传统基准如MNIST、CIFAR-10和ImageNet中，随机子集的鲁棒性差异可使同一防御算法报告截然不同的准确率，从而误导研究结论。构建过程中，挑战尤为显著：从Flickr收集的百万张原始图像中，仅43%能被三种不同架构的模型（DenseNet-121、ResNet-50、Inception-v3）一致正确分类；进一步经PGD攻击（ε=0.01）筛选后，仅15554张图像保持鲁棒，且604个类别有至少一张图像，396个类别完全缺失，导致类别分布极度不均。此外，如何量化数据集的整体鲁棒性并设计高效代理指标（如ARD、AMP、ADF分数）以避免计算开销，亦是关键难题。

常用场景

经典使用场景

在对抗性机器学习的评估中，ImageNet-R数据集被广泛用于衡量防御算法的真实性能。传统数据集如ImageNet、CIFAR-10和MNIST常因包含大量易受攻击的图像而导致评估偏差，而ImageNet-R汇集了超过15,000张对扰动具有天然鲁棒性的图像，这些图像不仅难以被对抗性攻击成功误导，而且在简单防御手段下能高效恢复正确分类。研究者利用该数据集作为基准，公正地比较不同攻击和防御算法的有效性，避免因数据集偏倚而产生的虚假性能提升。

衍生相关工作

ImageNet-R数据集的发布催生了多项相关研究。例如，研究者基于其鲁棒图像特性，探索了纹理特征（如GLCM中的对比度和非相似性）与图像鲁棒性之间的关联，并训练了轻量级分类器来预测图像是否鲁棒。同时，该数据集与ImageNet-A（自然对抗样本）形成互补，共同推动了对抗性研究中的偏倚校正工作。后续工作还借鉴其提出的ARD、AMP、ADF指标，设计了更高效的鲁棒性评估框架，促进了对抗性机器学习领域的标准化发展。

数据集最近研究

最新研究方向

在对抗性机器学习的动态演进中，数据集偏差问题日益凸显，成为评估防御算法鲁棒性的关键瓶颈。ImageNet-R作为一项开创性成果，聚焦于识别并构建一类具有天然鲁棒性与防御友好特性的图像集合，揭示了传统基准测试中因图像固有强度差异而导致的性能误判。该数据集不仅通过提出ARD、AMP和ADF三项量化指标，为无偏评估对抗攻防算法提供了方法论支撑，更在纹理特征与深度模型偏好的交叉领域开辟了新探索路径。其研究关联到当前对抗样本可迁移性与防御泛化能力的热点争论，通过揭示图像纹理统计特征（如GLCM中的非相似性）与鲁棒性的内在关联，为设计更可靠的防御评估框架和推动对抗机器学习领域的标准化进程奠定了重要基石。

相关研究论文

• Defense-friendly Images in Adversarial Attacks: Dataset and Metrics for Perturbation Difficulty

  西澳大利亚大学 · 2020年