NATS-Bench

NATS-Bench是由悉尼科技大学计算机科学学院创建的一个统一基准，用于评估几乎所有最新的神经架构搜索（NAS）算法。该数据集包括15,625个拓扑结构候选和32,768个大小结构候选，适用于同时搜索架构的拓扑和大小。NATS-Bench通过在三个不同的数据集上训练每个架构多次，提供了每个架构的训练日志和性能信息，旨在为研究人员提供一个可比较和计算效率高的环境，以开发更好的NAS算法。

NATS-Bench is a unified benchmark developed by the School of Computer Science at the University of Technology Sydney, designed to evaluate nearly all state-of-the-art neural architecture search (NAS) algorithms. This dataset encompasses 15,625 topology candidates and 32,768 size-structure candidates, supporting simultaneous search of both architecture topology and size. By training each architecture multiple times across three distinct datasets, NATS-Bench provides training logs and performance metrics for every architecture. Its core goal is to provide researchers with a comparable and computationally efficient environment for developing improved NAS algorithms.

搜集汇总

数据集介绍

构建方式

在神经架构搜索领域，NATS-Bench的构建旨在提供一个统一且全面的基准测试平台。该数据集通过定义两个独立的搜索空间来实现这一目标：拓扑搜索空间（St）和规模搜索空间（Ss）。拓扑搜索空间基于密集连接的有向无环图表示神经细胞，其中每个边关联一个从预定义操作集中选择的运算，共包含15,625个候选架构。规模搜索空间则专注于调整每层的通道数，候选值从8到64不等，生成了32,768个架构变体。所有架构均在CIFAR-10、CIFAR-100和ImageNet-16-120三个数据集上，采用标准化的训练策略（如使用Nesterov动量SGD和余弦退火学习率）进行多次训练，并记录了每个训练周期的详细日志与性能指标。

特点

NATS-Bench的显著特点在于其双重搜索空间设计，首次将架构拓扑与规模纳入同一基准测试框架。该数据集提供了丰富的诊断信息，包括每个架构的参数数量、浮点运算次数、延迟以及训练过程中的损失和精度变化曲线，这些数据有助于深入分析模型的计算效率与收敛特性。此外，所有架构在三个不同数据集上的性能数据支持跨域可转移性研究，而统一的训练设置与公开的应用程序接口确保了算法比较的公平性与可重复性，为神经架构搜索社区提供了一个高效且透明的评估环境。

使用方法

研究人员可通过NATS-Bench提供的应用程序接口便捷地查询架构信息，例如使用索引获取特定架构的配置、成本指标及在不同数据集上的性能表现。该数据集支持多种神经架构搜索算法的基准测试，包括基于强化学习、进化策略和可微分方法的模型。用户可通过调用预定义的函数，如`find_best`来定位最优架构，或利用`get_more_info`获取训练细节，从而避免重复训练开销，专注于搜索算法的设计与优化。同时，数据集附带的完整代码库促进了算法的快速实现与公平比较，推动了神经架构搜索领域的创新与发展。

背景与挑战

背景概述

在深度学习领域，神经架构搜索（NAS）作为自动化设计神经网络架构的关键技术，近年来受到广泛关注。然而，不同NAS算法在搜索空间、训练设置和评估策略上的差异，导致其性能难以公平比较。为应对这一挑战，悉尼科技大学的徐安毅、刘璐、Katarzyna Musial与Bogdan Gabrys等研究人员于2021年提出了NATS-Bench基准数据集。该数据集聚焦于架构拓扑与尺寸两大核心维度，构建了包含15,625个拓扑候选和32,768个尺寸候选的统一搜索空间，并在CIFAR-10、CIFAR-100及ImageNet-16-120三个数据集上提供了完整的训练日志与诊断信息。NATS-Bench的推出，为NAS社区提供了一个可复现、高效率的评估环境，显著降低了算法比较的计算成本，并推动了NAS方法在可转移性与稳健性方面的深入研究。

当前挑战

NATS-Bench致力于解决神经架构搜索领域中的算法可比性与复现性难题，其核心挑战体现在两方面：其一，在领域问题层面，NAS算法需在异构搜索空间与训练配置下，高效探索高维架构候选，并准确评估其性能，而现有基准往往忽略架构尺寸的影响，导致算法优化方向受限；其二，在构建过程中，数据集需平衡搜索空间的规模与计算可行性，确保涵盖多样化的拓扑与尺寸配置，同时统一训练流程以消除偏差，并提供跨数据集的细粒度日志，以支持算法泛化能力分析。此外，避免过拟合基准、保持超参数一致性，以及扩展至超参数优化等方向，亦是该数据集持续演进中的关键挑战。

常用场景

经典使用场景

在神经架构搜索领域，NATS-Bench作为标准化评估平台，其经典应用场景在于为各类NAS算法提供统一的性能比较基准。该数据集通过预训练并记录大量候选架构在多个数据集上的完整训练日志与性能指标，使得研究者能够快速验证新算法的有效性，无需重复耗时的架构训练过程。这一特性极大地加速了NAS方法的迭代与优化，成为推动自动化深度学习发展的重要基础设施。

衍生相关工作

基于NATS-Bench的标准化框架，衍生出一系列深入探索NAS机理的经典研究工作。例如，研究者利用其完整的训练轨迹数据开发了更高效的架构性能预测模型，或通过分析跨数据集的架构迁移性提出了改进的跨域搜索算法。同时，该数据集也催生了针对权重共享机制、多保真度优化等核心问题的创新方法，推动了NAS理论分析与应用拓展的并行发展。

数据集最近研究

最新研究方向

在神经架构搜索领域，NATS-Bench作为统一基准库，正推动着算法公平性与可复现性的前沿探索。其最新研究方向聚焦于多目标优化与跨数据集泛化能力的深度融合，特别是在架构拓扑与尺寸的双重搜索空间中，如何平衡模型性能与计算效率成为热点议题。随着自动化机器学习向边缘设备部署延伸，研究者们正借助该基准的细粒度诊断信息，探索轻量化架构的自动生成机制，以应对实时推理与资源受限场景的挑战。这一趋势不仅促进了可微分搜索与进化策略的融合创新，也为超参数联合优化提供了新的评估范式，深刻影响着高效深度学习模型的工程化进程。

相关研究论文

• NATS-Bench: Benchmarking NAS Algorithms for Architecture Topology and Size

  悉尼科技大学计算机科学学院 · 2021年