OODRobustBench

OODRobustBench是一个用于全面评估在输入分布偏移（即分布外测试）下的对抗性鲁棒性的基准，包括23个数据集级别的自然分布偏移和6个未预见的对抗威胁模型。OODRobustBench is a benchmark for comprehensively evaluating adversarial robustness under input distribution shifts (i.e., out-of-distribution testing). It encompasses 23 dataset-level natural distribution shifts and 6 unforeseen adversarial threat models.

搜集汇总

数据集介绍

构建方式

在现实世界中，分布偏移是不可避免的，然而现有的对抗鲁棒性评估主要局限于同分布数据。为填补这一空白，OODRobustBench应运而生。该基准精心构建了两类分布偏移：数据集偏移与威胁偏移。数据集偏移涵盖4种自然偏移（如CIFAR10.1、ImageNet-v2）和15种常见损坏（如噪声、模糊、天气、数字变换），共计79个子集；威胁偏移则包含6种未见过的攻击（如PPGD、LPA、StAdv、ReColor及不同范数的ℓp攻击）。评估中，对706个鲁棒模型进行了60.7万次对抗评估，全面模拟了真实世界中可能遭遇的分布变化。

特点

OODRobustBench最显著的特点在于其系统性与洞察力。它首次揭示了对抗鲁棒性在分布偏移下存在严重的泛化危机：鲁棒性平均下降18%至31%，且高同分布鲁棒性的模型往往退化更显著。尤为关键的是，研究发现同分布鲁棒性与多数分布偏移下的鲁棒性呈强线性正相关，这一趋势可用于预测分布外鲁棒性的上限。此外，基准还识别出某些方法在噪声偏移下会出现灾难性的鲁棒性骤降，例如Rade等人的方法在高斯噪声下鲁棒性下降高达46%，远超平均水平。

使用方法

使用者可借助OODRobustBench对训练好的鲁棒模型进行全面评估。首先，在标准同分布数据上使用MM5攻击（较AutoAttack快32倍）评估基准鲁棒性。随后，在23种数据集偏移上（如CIFAR10-R、ImageNet-A及各类损坏）评估模型对已知攻击的鲁棒性；同时，在6种威胁偏移下（如不同范数或非ℓp攻击）评估模型对未见攻击的防御能力。最终，通过比较同分布与分布外鲁棒性的线性拟合结果，可预测现有训练方法所能达到的分布外鲁棒性上限，从而指导更鲁棒模型的设计。

背景与挑战

背景概述

在深度学习领域，对抗性鲁棒性的研究已取得显著进展，然而现有评估体系大多局限于同分布测试数据，忽视了现实世界中不可避免的分布偏移问题。为填补这一空白，伦敦国王学院、北京大学与加州大学伯克利分校的研究人员于2023年联合提出了OODRobustBench基准，旨在系统评估模型在分布偏移下的对抗性鲁棒性。该基准涵盖23种数据集层面的自然与损坏偏移，以及6种威胁层面的未见攻击模型，通过对706个鲁棒模型进行超过6万次对抗性评估，揭示了现有方法在分布偏移下鲁棒性严重退化的问题，并发现同分布鲁棒性与分布外鲁棒性之间存在强线性相关关系。这一工作为理解模型在真实场景中的可靠性提供了重要工具，对推动鲁棒性研究从实验室走向实际应用具有深远意义。

当前挑战

OODRobustBench所面临的挑战主要源于三个方面。首先，在领域问题层面，现有对抗性鲁棒性研究普遍忽视了分布偏移的影响，导致模型在真实部署中面临严重的安全隐患，评估结果显示鲁棒性在分布偏移下平均下降18%至31%，且高鲁棒性模型退化更为显著。其次，在基准构建过程中，研究者需解决两大难题：一是如何系统性地模拟真实世界中多样化的分布偏移类型，包括自然偏移与损坏偏移；二是如何高效地对数百个模型进行大规模对抗性评估，为此采用了计算效率更高的MM5攻击方法。此外，一些模型在噪声偏移下出现灾难性退化，如Rade等人的方法在高斯噪声下鲁棒性骤降46%，揭示了现有训练方法在特定偏移下的脆弱性，这些异常现象为鲁棒性泛化研究带来了新的挑战。

常用场景

经典使用场景

在深度学习模型部署于真实世界的复杂环境中，数据分布偏移与对抗性攻击的耦合构成了严峻挑战。OODRobustBench作为首个系统性评估分布偏移下对抗鲁棒性的基准，其经典使用场景集中于衡量模型在面对自然分布偏移（如CIFAR-10.1、ImageNet-R等自然变体数据集及高斯噪声、雾霾等15种常见图像损坏）与威胁模型偏移（如未见过的ℓp范数攻击与非ℓp感知攻击）时的鲁棒性退化程度。该基准通过对706个鲁棒模型进行超过6万次对抗评估，揭示出模型在分布偏移下鲁棒性平均下降18%至31%的严峻现象，为研究者提供了标准化、可复现的评估平台。

衍生相关工作

OODRobustBench的提出催生了一系列富有启发性的衍生工作。其揭示的线性趋势启发了后续研究探索更精确的分布外性能预测方法，而预测的上限瓶颈则直接刺激了新型鲁棒训练范式的开发，如针对多攻击与未见攻击的联合防御策略。该基准还促进了对抗训练与数据增强技术的交叉融合研究，例如发现TrivialAugment虽鲁棒性绝对值不高但具有最高的有效鲁棒性，引导学界关注鲁棒性的分布外泛化效率而非单纯追求同分布性能。此外，对灾难性退化现象（如Rade方法在噪声偏移下鲁棒性骤降46%）的深入分析，推动了关于特定训练动态与数据增强操作之间交互作用的研究，形成了鲁棒性与分布偏移交叉领域的新兴研究方向。

数据集最近研究

最新研究方向

在对抗鲁棒性领域，当前前沿研究方向正从传统的分布内评估转向更具挑战性的分布外泛化能力分析。OODRobustBench数据集的提出，标志着研究重心已从单一对抗攻击防御，拓展至模型在面对自然分布偏移（如数据集偏移、威胁偏移）时的鲁棒性评估。该基准涵盖23种数据集偏移与6种威胁偏移，对706个鲁棒模型进行了逾6万次对抗评估，揭示了现有鲁棒模型在分布偏移下普遍存在的严重鲁棒性退化现象。尤为关键的是，研究发现分布内与分布外鲁棒性之间存在强线性相关，这为通过分布内性能预测分布外鲁棒性提供了理论依据，但也表明传统方法难以实现理想的分布外鲁棒性。这一工作呼应了现实世界中模型部署面临的不可预测分布变化热点，推动了对抗鲁棒性研究向更贴近实际应用场景的纵深发展，对构建真正安全可靠的机器学习系统具有深远意义。

相关研究论文

• OODRobustBench: benchmarking and analyzing adversarial robustness under distribution shift

  · 2023年