NARes

NARes是一个用于WideResNet对抗鲁棒性的神经架构数据集，包含了15625种不同的架构，用于评估和研究对抗攻击下的模型性能。

NARes is a neural architecture dataset designed for evaluating the adversarial robustness of WideResNet. It encompasses 15,625 distinct architectures, facilitating the assessment and investigation of model performance under adversarial attacks.

原始信息汇总

数据集概述

数据集名称

• NARes: A Neural Architecture Dataset for Adversarial Robustness on WideResNet

数据集描述

• 决策向量: $[D_1, W_1, D_2, W_2, D_3, W_3]$，其中 $D_{iin{1,2,3}} in {4,5,7,9,11}$ 和 $W_{iin{1,2,3}} in {8,10,12,14,16}$。
• 总架构数: $5^6=15625$。
• 架构标识: 每个架构有一个 arch_id，从1到15625，按#MACs升序排列。

数据集准备

• 下载数据集: 下载文件 nares.txz 并解压得到 cifar10.jsonl，放置于 data/ 路径下。

数据集使用

• 访问数据集: 使用 NASBenchR_CIFAR10_Dataset 类从 data/cifar10.jsonl 加载数据集。
• 查询架构: 通过定义 Arch 对象，使用 dataset.query() 或 dataset.batch_query() 方法查询架构记录。

数据集基准测试

• 基准测试结果: 包括多个评估指标，如 Val Clean, Val PGD, Test Clean 等，对比不同搜索算法的性能。

数据集访问示例

python from dataset import NASBenchR_CIFAR10_Dataset, Metric from search_space import Arch

dataset = NASBenchR_CIFAR10_Dataset("data/cifar10.jsonl")

wrn_34_10 = Arch( depth1=5, depth2=5, depth3=5, width1=10, width2=10, width3=10, )

wrn_70_16 = Arch( depth1=11, depth2=11, depth3=11, width1=16, width2=16, width3=16, )

查询单个记录

record = dataset.query(wrn_34_10)

批量查询记录

for record in dataset.batch_query([wrn_34_10, wrn_70_16]): ...

搜集汇总

数据集介绍

构建方式

在构建NARes数据集时，研究者们精心设计了一个包含六维决策向量的搜索空间，具体包括三个深度参数（$D_1, D_2, D_3$）和三个宽度参数（$W_1, W_2, W_3$）。每个深度参数可选值为{4, 5, 7, 9, 11}，宽度参数可选值为{8, 10, 12, 14, 16}。通过组合这些参数，数据集共生成了15625种不同的神经网络架构。每种架构均被赋予一个唯一的arch_id，按照计算量（MACs）的升序排列，便于识别和检索。

特点

NARes数据集的显著特点在于其广泛的搜索空间和多样化的架构设计，涵盖了15625种不同的神经网络配置。此外，该数据集特别关注于对抗性鲁棒性，通过在WideResNet架构上进行实验，提供了丰富的对抗性攻击和防御性能数据。数据集的结构化设计使得每种架构的性能指标，如验证集和测试集上的准确率、对抗性攻击下的表现等，均得以系统记录，为研究者提供了详尽的实验数据支持。

使用方法

使用NARes数据集时，用户首先需安装相关依赖包，并通过下载并解压数据文件`cifar10.jsonl`至指定路径`data/`进行数据准备。随后，用户可通过Python脚本访问数据集，利用`NASBenchR_CIFAR10_Dataset`类加载数据，并通过`Arch`类定义特定的神经网络架构进行查询。数据集支持批量查询，返回包含性能指标的记录生成器，便于用户进行大规模数据分析和模型评估。

背景与挑战

背景概述

NARes数据集，全称为Neural Architecture Dataset for Adversarial Robustness on WideResNet，由知名研究机构或团队于近期创建。该数据集聚焦于神经网络架构在对抗性攻击下的鲁棒性研究，旨在通过提供一个包含15625种不同架构的广泛搜索空间，推动深度学习模型在面对复杂攻击时的性能提升。NARes不仅为研究人员提供了一个标准化的评估平台，还通过详细的实验结果和模型权重，促进了对抗性鲁棒性研究的发展。

当前挑战

NARes数据集在构建过程中面临多项挑战。首先，设计一个包含15625种不同架构的搜索空间，确保每种架构的独特性和代表性，是一项复杂且耗时的任务。其次，评估这些架构在对抗性攻击下的表现，需要大量的计算资源和时间，尤其是在处理高维数据和复杂模型时。此外，数据集的维护和更新也是一个持续的挑战，确保数据集的时效性和准确性，以反映最新的研究进展和技术突破。

常用场景

经典使用场景

NARes数据集在神经网络架构搜索（NAS）领域中被广泛应用于评估和优化神经网络的对抗鲁棒性。通过提供一个包含15625种不同架构的搜索空间，研究者可以系统地探索和比较不同架构在面对对抗攻击时的表现。例如，研究者可以使用NARes数据集来测试随机搜索、局部搜索、正则化进化等NAS算法在提高模型对抗攻击能力方面的效果。

解决学术问题

NARes数据集解决了在神经网络架构设计中对抗鲁棒性的评估问题。传统的NAS方法往往忽视了模型在面对对抗攻击时的脆弱性，而NARes通过提供一个包含多种架构的数据集，使得研究者能够系统地评估和优化模型的对抗鲁棒性。这不仅有助于推动对抗鲁棒性研究的发展，还为设计更安全的神经网络架构提供了重要的数据支持。

衍生相关工作

NARes数据集的发布催生了一系列相关研究工作，特别是在对抗鲁棒性和神经网络架构搜索领域。例如，研究者基于NARes数据集开发了新的NAS算法，如BANANAS，这些算法在提高模型对抗攻击能力方面表现出色。此外，NARes还启发了对现有NAS方法的改进，推动了对抗鲁棒性评估的标准化和系统化研究。