legolasflagstaff/RobustGenBench-sample

这是完整[RobustGenBench](https://huggingface.co/datasets/legolasflagstaff/RobustGenBench)数据集（22 GB）的**分层样本**，专为NeurIPS数据集提交审查而创建。数据集结构包括干净图像和对抗性图像两部分。干净图像部分包含来自多个数据集的图像，每个类别有2张图像；对抗性图像部分则包含多种对抗性攻击方法生成的图像。每个子文件夹都包含测试标签、图像文件和元数据文件。

This is a **stratified sample** of the full [RobustGenBench](https://huggingface.co/datasets/legolasflagstaff/RobustGenBench) dataset (22 GB), created for NeurIPS dataset submission review. The dataset structure includes both clean and adversarial images. The clean part contains images from multiple datasets with 2 images per class; the adversarial part contains images generated by various adversarial attack methods. Each subfolder contains test labels, image files, and metadata files.

搜集汇总

数据集介绍

构建方式

RobustGenBench-sample数据集是从完整的RobustGenBench数据集中经过分层抽样策略提取而来的精简版本，旨在为NeurIPS数据集提交评审提供轻量级样本。该样本在每个子文件夹中保留了每个类别两张图像，并完整复制了对应完整数据集存档中的test/labels.csv与metadata.json文件。数据集内部结构按干净图像与对抗性图像两大目录划分，其中干净图像涵盖6个经典视觉数据集，而对抗性图像则基于多种攻击方法生成，包括通用扰动、随机均匀扰动以及多个预训练视觉语言模型（如CLIP、MetaCLIP、SigLIP）的零样本对抗样本。所有图像均以连续编号的PNG格式存储，并保持文件名与干净图像一致，便于直接比对。

特点

该数据集的核心特点在于其高度结构化的组织方式和针对抗性鲁棒性评估的专门设计。干净图像与对抗性图像采用完全平行的目录层级，每个数据集的图像文件名严格一致，极大简化了模型在干净与对抗环境下的性能对比流程。此外，对抗性图像涵盖了多种威胁模型，包括通用扰动与零样本黑盒攻击，且攻击源模型覆盖了从ViT-B/16到ViT-H/14、从CLIP到SigLIP的广泛架构，为评测不同防御策略的泛化能力提供了丰富维度。数据集还附带了类别名称映射文件与元数据，确保实验可重复性。

使用方法

使用RobustGenBench-sample时，研究者可直接按目录结构加载图像与标签：从clean/<dataset>/test/读取干净样本，从adversarial/<threat_model>/<dataset>/test/读取对应对抗样本。每个test子文件夹中的labels.csv提供了文件名与整数类标之间的映射，而class_names/<dataset>.json则给出了整数标签与类别名称的对应关系。建议在进行模型鲁棒性评估时，依次遍历所有对抗子目录，利用一致的图像文件名与干净样本的预测结果进行逐样本比对，从而计算不同攻击设置下的分类准确率下降幅度。该采样版本特别适合快速验证评估流程的正确性。

背景与挑战

背景概述

RobustGenBench-sample数据集诞生于深度学习模型对抗鲁棒性研究的蓬勃发展阶段，由legolasflagstaff研究团队为NeurIPS数据集投稿评审而构建。其核心研究问题聚焦于系统评估生成式对抗样本对多领域图像分类模型的攻击效能，涵盖从自然场景到遥感影像的六类细粒度数据集。该数据集通过分层抽样策略，在保留原始22GB全量数据统计特征的前提下，为领域提供标准化、轻量化的基准测试工具。其对鲁棒性评估范式的规范化贡献，显著推动了对抗防御方法可复现性研究的发展。

当前挑战

该数据集所应对的核心领域挑战在于，当前对抗鲁棒性评估缺乏跨数据集、跨攻击类型的统一度量标准，现有基准多局限于单一分类任务或特定扰动类型。构建过程中面临三大难题：其一，需平衡全量22GB数据与审查版样本的统计一致性，通过分层采样确保每类仅保留2张图像仍能表征原始分布；其二，需协调六类异构数据集的标签体系差异，建立统一的类名映射与整数索引标准；其三，需保证对抗样本生成的可复现性，构建涵盖均匀噪声、随机扰动及五种视觉语言模型零样本攻击的多威胁模型矩阵，同时维持文件结构与元数据的结构化一致性。

常用场景

经典使用场景

RobustGenBench-sample作为完整RobustGenBench数据集的分层样本，在图像分类的对抗鲁棒性研究领域中占据重要地位。该数据集精心整合了Caltech-101、FGVC-Aircraft、Flowers-102、Oxford-IIIT-Pet、Stanford Cars以及UC-Merced Land Use等多个经典细粒度分类基准的样本，并配套提供了干净图像与多种对抗扰动版本，包括通用噪声、随机均匀扰动以及基于CLIP、MetaCLIP、SigLIP等视觉语言模型的零样本对抗攻击图像。这种多维度的结构设计，使其成为评估和比较图像分类模型在不同威胁模型下鲁棒性能的理想测试平台。

解决学术问题

该数据集的构建有效解决了当前对抗鲁棒性研究中长期存在的两大瓶颈问题：一是缺乏覆盖多样化细粒度视觉概念的标准化对抗鲁棒性评测基准，二是现有工作多局限于考虑特定威胁模型，难以全面反映模型在真实世界复杂攻击场景下的行为表现。通过在同一数据集框架下统一提供干净图像、常见扰动以及多种零样本迁移攻击图像，RobustGenBench使得研究者能够系统性地量化不同架构的视觉模型在应对未知攻击时的泛化鲁棒性，从而推动了对抗防御方法从特定威胁假设向更普遍、更实用方向的演进，对理解深度神经网络脆弱性的本质具有深远的学术意义。

衍生相关工作

围绕RobustGenBench数据集已衍生出若干具有代表性的相关工作。受该数据集启发，研究者开发了针对细粒度分类任务的鲁棒性增强方法，例如结合视觉语言模型的对抗训练策略，通过利用CLIP等模型的语义先验信息来提升分类器在零样本迁移攻击下的防御能力。此外，该数据集也被用于评估对抗样本的可迁移性攻击效果，并催生了对模型鲁棒性评估标准化的讨论，推动了诸如自适应攻击评估协议等基准化研究方向的成熟。总体而言，RobustGenBench不仅为当前方法提供了统一的性能衡量尺度，更有力地牵引了鲁棒性研究向更具挑战性的细粒度场景拓展。