HW-NAS-Bench

HW-NAS-Bench是由莱斯大学电气与计算机工程系开发的首个公开硬件感知神经架构搜索（HW-NAS）研究数据集，旨在使非硬件专家也能参与HW-NAS研究，并提高研究的重复性和可访问性。该数据集涵盖了NAS-Bench-201和FBNet两个最先进的NAS搜索空间，为所有网络提供了在六种硬件设备上的测量/估计硬件性能数据，包括商用边缘设备、FPGA和ASIC。数据集的创建过程涉及精心收集和分析硬件性能数据，如能量成本和延迟，以提供对HW-NAS研究的深入见解。此外，HW-NAS-Bench还展示了如何通过简单查询预先测量的数据集，使非硬件专家能够执行HW-NAS，并验证了针对特定设备的HW-NAS可以实现最佳的精度-成本权衡。该数据集的应用领域包括深度神经网络的硬件加速器设计和优化，旨在解决如何在资源受限的日常设备中高效部署深度神经网络的问题。HW-NAS-Bench is the first open-source hardware-aware neural architecture search (HW-NAS) research dataset developed by the Department of Electrical and Computer Engineering at Rice University. It aims to enable non-hardware experts to participate in HW-NAS research and improve the reproducibility and accessibility of related studies. This dataset covers two state-of-the-art NAS search spaces, NAS-Bench-201 and FBNet, and provides measured/estimated hardware performance data for all networks across six hardware devices, including commercial edge devices, FPGAs, and ASICs. The dataset creation process involves meticulous collection and analysis of hardware performance metrics such as energy cost and latency, to provide in-depth insights for HW-NAS research. Furthermore, HW-NAS-Bench demonstrates how non-hardware experts can conduct HW-NAS by simply querying the pre-measured dataset, and validates that device-specific HW-NAS can achieve optimal accuracy-cost trade-offs. The application scenarios of this dataset include hardware accelerator design and optimization for deep neural networks, aiming to address the problem of efficiently deploying deep neural networks in resource-constrained daily devices.

搜集汇总

数据集介绍

构建方式

HW-NAS-Bench 数据集旨在解决硬件感知神经网络架构搜索（HW-NAS）中的挑战，特别是硬件成本数据的收集和分析。该数据集涵盖了两个代表性的 NAS 搜索空间：NAS-Bench-201 和 FBNet。为了收集硬件成本数据，研究人员构建了一个通用的硬件成本收集流程，该流程将网络架构编译为目标设备的执行格式，并优化执行流程以提高硬件性能。该流程适用于六种常用硬件设备，包括商业边缘设备、FPGA 和 ASIC。对于 FBNet 搜索空间，研究人员通过将网络架构中的所有唯一块的性能相加来近似硬件成本。

特点

HW-NAS-Bench 数据集的主要特点包括：（1）涵盖了两个代表性的 NAS 搜索空间：NAS-Bench-201 和 FBNet；（2）提供了六种常用硬件设备上所有网络架构的硬件成本数据，包括商业边缘设备、FPGA 和 ASIC；（3）进行了全面的硬件成本和准确度数据分析，为 HW-NAS 研究提供了有价值的见解；（4）提供了示例用户案例，展示了非硬件专家如何使用 HW-NAS-Bench 开发 HW-NAS 解决方案，并验证了专用设备特定 HW-NAS 确实可以实现最佳的准确度-成本权衡。

使用方法

使用 HW-NAS-Bench 数据集的方法如下：（1）首先，用户需要确定目标硬件设备，例如 Edge GPU、Raspi 4、Edge TPU、Pixel 3、ASIC-Eyeriss 或 FPGA；（2）然后，用户可以在 HW-NAS-Bench 数据集中查询目标设备上所有网络架构的硬件成本数据，包括延迟和能耗；（3）最后，用户可以使用这些硬件成本数据来开发 HW-NAS 解决方案，例如，通过选择具有最佳准确度-成本权衡的网络架构。用户还可以使用 HW-NAS-Bench 数据集来分析不同硬件设备上的硬件成本和准确度数据，以了解不同硬件设备对网络架构性能的影响。

背景与挑战

背景概述

在深度神经网络（DNN）性能突飞猛进的背景下，如何将这些高性能但功耗大的DNN应用于资源受限的日常生活设备，成为当前研究的热点。硬件感知神经网络架构搜索（HW-NAS）作为一种自动化设计最优DNN结构的技术，在平衡精度和硬件效率方面展现出巨大潜力。然而，开发最优HW-NAS解决方案面临着诸多挑战，需要跨学科的知识，包括算法、微架构和设备特定的编译。为了解决这些挑战，李超健等研究人员于2021年发布了HW-NAS-Bench数据集，旨在为HW-NAS研究提供统一的基准，并使非硬件专家能够更容易地进行HW-NAS研究。HW-NAS-Bench数据集收集了NAS-Bench-201和FBNet搜索空间中所有网络在六种硬件设备上的硬件性能数据，包括能量成本和延迟，并进行了全面分析，为HW-NAS研究提供了有价值的见解。

当前挑战

HW-NAS-Bench数据集的创建旨在解决HW-NAS研究中的几个关键挑战。首先，传统的HW-NAS解决方案需要收集搜索空间中所有网络的硬件效率数据，这通常需要专业知识来构建硬件成本查找表或设备特定的硬件成本模型，这对于非硬件专家来说是一个门槛。其次，由于所需的计算资源巨大以及采用不同的搜索空间、超参数和硬件设备，对HW-NAS算法进行基准测试非常困难。HW-NAS-Bench数据集通过提供在多种硬件设备上收集的硬件性能数据，使非硬件专家能够更容易地进行HW-NAS研究，并使HW-NAS研究更具可重复性和可访问性。此外，数据集还揭示了常用的理论硬件成本指标（如FLOPs）与实际测量或估计的硬件成本之间的相关性不佳，以及相同架构在不同设备上的硬件成本可能存在很大差异。这些发现强调了为特定设备进行HW-NAS的重要性，并突出了HW-NAS基准数据集如HW-NAS-Bench的必要性。

常用场景

经典使用场景

HW-NAS-Bench 数据集在硬件感知神经网络架构搜索（HW-NAS）研究中扮演了至关重要的角色。该数据集提供了两个最先进的 NAS 搜索空间（NAS-Bench-201 和 FBNet）中所有网络架构在六种硬件设备上的硬件性能（例如，能耗和延迟）的测量/估计数据。这使得研究人员能够轻松地评估和比较不同 NAS 算法在特定硬件设备上的性能，从而推动 HW-NAS 研究的进步。

衍生相关工作

HW-NAS-Bench 数据集的发布促进了多个相关研究的发展。例如，一些研究利用 HW-NAS-Bench 数据集来评估和比较不同的 HW-NAS 算法，从而推动 HW-NAS 研究的进步。此外，该数据集还可以用于开发新的硬件感知神经网络架构搜索算法，以满足特定硬件设备的性能要求。

数据集最近研究

最新研究方向

随着硬件感知神经网络架构搜索（HW-NAS）在资源受限的日常设备中部署深度神经网络设计的自动化方面获得广泛关注，HW-NAS-Bench 数据集的提出标志着该领域的一个重要进展。该数据集旨在通过提供跨六种硬件设备的网络架构的硬件性能数据，降低非硬件专家参与 HW-NAS 研究的门槛。数据集的最新研究方向主要集中在如何利用该数据集进行更有效的硬件感知网络架构搜索，以及如何通过该数据集提高网络架构搜索的可重复性和可访问性。同时，研究人员也在探索如何利用 HW-NAS-Bench 数据集进行特定设备的硬件感知网络架构搜索，以实现最优的准确性和成本权衡。

相关研究论文

• HW-NAS-Bench:Hardware-Aware Neural Architecture Search Benchmark

  莱斯大学电气与计算机工程系 · 2021年