ImageNet-Patch

该数据集是一个平衡的数据集，其中包含攻击和干净的ImageNet样本各占一半，总共包含400张测试图像。为确保评估的平衡性，攻击被精确地应用于50%的数据上。规模上，数据集包含400张测试图像，其任务是对抗性补丁检测。

搜集汇总

数据集介绍

构建方式

在深度学习模型面临对抗性补丁攻击的严峻挑战背景下，ImageNet-Patch数据集应运而生。该数据集构建于ImageNet验证集之上，从中选取5000张图像作为测试样本，并针对“肥皂盒”、“短号”、“盘子”等10个不同类别，分别优化出大小为50×50像素的方形对抗补丁。优化过程采用梯度下降算法，以AlexNet、ResNet18和SqueezeNet构成的模型集成作为目标，在损失函数中引入随机仿射变换（旋转±π/8、平移±68像素），迫使补丁同时具备对几何变换的鲁棒性和跨模型迁移能力。最终，每个补丁被应用于5000张测试图像，生成总计50000张带有对抗补丁的扰动样本，构成完整的基准测试数据集。

特点

ImageNet-Patch数据集的核心特点在于其预优化补丁的高效性与通用性。补丁通过集成多个模型优化获得跨模型攻击能力，在针对127个未见模型的测试中展现出显著的迁移效果，使标准模型和鲁棒模型的准确率均出现明显下降。与随机补丁相比，预优化补丁引发的鲁棒准确率与干净准确率之间的线性相关性更弱，凸显了其针对性攻击效能。此外，补丁在优化过程中融入仿射变换，使其能够抵抗旋转和平移等几何扰动，为物理世界应用提供了基础。该数据集还支持对模型进行快速近似鲁棒性评估，无需繁琐的对抗攻击优化过程。

使用方法

使用ImageNet-Patch数据集进行模型鲁棒性评估遵循简洁的三步流程。首先，从ImageNet验证集中提取5000张干净图像作为初始化样本。其次，将预优化的10个对抗补丁通过随机仿射变换应用到这些图像上，生成带有补丁的扰动数据集。最后，将待评估模型在该数据集上进行推理，计算干净准确率、鲁棒准确率以及补丁成功率三项指标，从而量化模型对对抗性补丁的脆弱性。该方法无需为每个目标模型重新优化补丁，大幅降低了计算开销，适用于快速筛选和比较不同防御机制的有效性。

背景与挑战

背景概述

在深度学习模型广泛应用于安全关键任务的当下，对抗性补丁作为一种能够物理植入图像并诱导模型误分类的攻击手段，对现实世界系统构成了严重威胁。为应对这一挑战，Maura Pintor 等人于2022年提出了 ImageNet-Patch 数据集，由意大利卡利亚里大学与热那亚大学的研究团队联合开发。该数据集基于 ImageNet 验证集构建，包含10个针对不同类别的预优化对抗性补丁，每个补丁应用于5000张图像，共计50000个样本，旨在为机器学习模型的鲁棒性评估提供一个快速且可复现的基准。通过集成多种模型进行补丁优化，并引入仿射变换增强其物理世界适用性，ImageNet-Patch 显著降低了传统对抗性补丁生成的计算成本，推动了对抗性鲁棒性评估的标准化进程。

当前挑战

ImageNet-Patch 所应对的核心挑战在于，传统对抗性补丁的生成需要大量计算资源与精细的超参数调优，导致鲁棒性评估效率低下且难以跨模型迁移。具体而言，补丁优化过程需反复查询目标模型并计算梯度直至收敛，计算开销巨大；同时，补丁需对旋转、平移等仿射变换保持鲁棒，以模拟物理世界中的实际部署场景，这进一步加剧了优化难度。此外，构建过程中需确保补丁在未见模型上的可迁移性，以应对黑盒攻击场景，但现有方法常因过度适配特定模型而泛化不足。ImageNet-Patch 通过集成多模型训练与随机仿射变换策略，在降低计算负担的同时提升了补丁的跨模型有效性，为快速鲁棒性评估提供了可行方案。

常用场景

经典使用场景

在计算机视觉与对抗性机器学习领域，ImageNet-Patch 数据集为评估模型在面对局部对抗性补丁攻击时的鲁棒性提供了一个高效且标准化的基准。该数据集包含10个经过精心优化的、可跨模型迁移的对抗性补丁，它们被应用于ImageNet验证集的5000张图像上，生成总计50000个样本。研究者可直接将这些预优化的补丁与随机仿射变换结合，快速模拟物理世界中的攻击场景，从而无需耗费大量计算资源从头优化补丁，即可对分类模型进行初步的鲁棒性测试。

实际应用

在实际应用中，ImageNet-Patch 数据集可被用于自动驾驶、安防监控等物理世界部署场景下的模型安全性预检。例如，自动驾驶系统中的交通标志识别模型可借助该数据集快速验证其对贴附于路牌上的对抗性贴纸的抵抗能力，从而避免因恶意贴纸导致的错误决策（如将停止标志误判为限速标志）。此外，该数据集还可帮助人脸识别系统评估其对佩戴对抗性眼镜等物理攻击的防御性能，为模型上线前的安全审计提供低成本、高效率的测试工具。

衍生相关工作

ImageNet-Patch 的提出催生了多项后续研究。其一，它被用作 RobustBench 框架的补充基准，推动了对多种鲁棒训练方法在补丁攻击下泛化能力的系统性比较。其二，研究者借鉴其集成优化与仿射变换策略，开发了针对物体检测与语义分割任务的对抗性补丁数据集。其三，该数据集中的预优化补丁被用作初始化点，通过微调加速了新型攻击方法的生成过程，降低了计算开销。此外，基于该数据集的评估结果，学者们提出了更强调跨威胁模型鲁棒性的新型防御机制，如多任务对抗训练与输入去噪架构。