BEARD

BEARD数据集是由北京航空航天大学和利物浦大学联合创建的，旨在评估数据集蒸馏方法的对抗鲁棒性。该数据集包含CIFAR10/100和TinyImageNet等多样化数据集，并整合了多种对抗攻击方法，如FGSM、PGD和C&W。通过对抗游戏框架，BEARD引入了三个关键指标：鲁棒性比率（RR）、攻击效率比率（AE）和综合鲁棒性-效率指数（CREI），以全面评估模型在蒸馏数据集上的对抗鲁棒性。该数据集的应用领域主要集中在深度学习模型的安全性和鲁棒性评估，旨在解决模型在面对对抗攻击时的脆弱性问题。

The BEARD dataset was jointly developed by Beihang University and the University of Liverpool, aiming to evaluate the adversarial robustness of dataset distillation methods. This dataset encompasses diverse benchmark datasets including CIFAR10/100 and TinyImageNet, and integrates multiple mainstream adversarial attack methods such as FGSM, PGD, and C&W. Through the adversarial game framework, BEARD introduces three core metrics: Robustness Ratio (RR), Attack Efficiency Ratio (AE), and Comprehensive Robustness-Efficiency Index (CREI), to comprehensively evaluate the adversarial robustness of models trained on distilled datasets. The application scenarios of this dataset mainly focus on the safety and robustness evaluation of deep learning models, aiming to address the vulnerability of models when facing adversarial attacks.

搜集汇总

数据集介绍

构建方式

BEARD数据集的构建基于对抗性鲁棒性评估的需求，通过整合多种数据集蒸馏（DD）方法和对抗攻击策略，形成了一个系统化的评估框架。该数据集包括了CIFAR-10、CIFAR-100和TinyImageNet等多个标准数据集，并采用了DC、DSA、DM、MTT、IDM和BACON等六种代表性的DD方法。通过这些方法生成的合成数据集，结合了FGSM、PGD、C&W等多种对抗攻击方法，以全面评估模型在不同攻击场景下的鲁棒性。

特点

BEARD数据集的显著特点在于其综合性与系统性。它不仅涵盖了多种数据集蒸馏方法和对抗攻击策略，还引入了三个关键评估指标：鲁棒性比率（RR）、攻击效率比率（AE）和综合鲁棒性-效率指数（CREI）。这些指标能够从多个维度评估模型在对抗环境中的表现，包括攻击效果和攻击效率。此外，BEARD还提供了开源代码和模型池、数据集池，以支持可重复的研究和广泛的实验验证。

使用方法

使用BEARD数据集进行研究时，首先需要选择合适的DD方法和数据集，然后通过提供的代码库生成合成数据集。接着，在训练阶段，使用这些合成数据集训练模型，并在评估阶段应用多种对抗攻击方法来测试模型的鲁棒性。通过计算RR、AE和CREI等指标，可以全面评估模型在不同攻击场景下的表现。此外，BEARD还提供了排行榜，方便研究者比较不同方法的性能，并提供了详细的文档和扩展接口，以支持进一步的研究和应用。

背景与挑战

背景概述

数据集蒸馏（Dataset Distillation, DD）是一种新兴技术，旨在将大规模数据集压缩成显著更小的合成数据集，同时保持高测试性能并实现大型模型的有效训练。尽管当前研究主要集中在提高有限压缩比下的评估准确性，但往往忽视了对抗性鲁棒性等关键安全问题。BEARD数据集由北京航空航天大学和利物浦大学的研究团队创建，旨在系统评估DD方法的对抗性鲁棒性，涵盖了多种对抗性攻击（如FGSM、PGD、C&W）和蒸馏数据集（如CIFAR10/100和TinyImageNet）。该数据集的引入填补了现有研究中的空白，为系统评估和改进模型在蒸馏数据上的对抗性鲁棒性提供了统一基准。

当前挑战

BEARD数据集面临的挑战主要集中在评估对抗性鲁棒性的复杂交互上。首先，蒸馏方法、模型架构和对抗性攻击策略之间的复杂交互使得标准化评估变得困难。其次，构建过程中需要处理多种数据集和攻击方法的集成，确保评估的全面性和公平性。此外，如何在保持数据集压缩效率的同时，确保模型在面对对抗性攻击时的鲁棒性，也是一个重要的技术难题。最后，如何设计有效的评估指标和框架，以全面衡量模型在蒸馏数据上的对抗性鲁棒性，是该数据集需要解决的关键问题。

常用场景

经典使用场景

BEARD数据集在评估数据集蒸馏方法的对抗鲁棒性方面具有经典应用。通过集成多种对抗攻击方法（如FGSM、PGD、C&W）和蒸馏技术（如DC、IDM、BACON），BEARD提供了一个统一的基准，用于系统评估不同蒸馏方法在对抗环境下的表现。其核心应用场景包括：在CIFAR10/100和TinyImageNet等数据集上，通过对抗游戏框架引入的鲁棒性比率（RR）、攻击效率比率（AE）和综合鲁棒性效率指数（CREI）等关键指标，全面评估模型在对抗攻击下的鲁棒性。

解决学术问题

BEARD数据集解决了当前数据集蒸馏研究中忽视的对抗鲁棒性问题。传统研究主要关注在有限压缩比下的评估准确性提升，而忽略了对抗攻击带来的安全风险。BEARD通过引入统一的基准和对抗游戏框架，系统地评估了蒸馏方法在对抗攻击下的鲁棒性，填补了这一研究空白。其意义在于，为学术界提供了一个标准化的评估工具，推动了数据集蒸馏技术在实际应用中的安全性和可靠性研究。

衍生相关工作

BEARD数据集的推出催生了一系列相关研究工作。首先，基于BEARD的评估结果，研究者们提出了多种改进的数据集蒸馏方法，旨在提升对抗鲁棒性。其次，BEARD的对抗游戏框架和评估指标被广泛应用于其他数据集和模型的对抗鲁棒性研究中，推动了整个领域的发展。此外，BEARD还激发了对数据集蒸馏技术在不同领域（如文本、图和音频）中对抗鲁棒性的扩展研究，进一步拓宽了其应用范围和影响力。