AnalogNAS-Bench

AnalogNAS-Bench是一个针对模拟内存计算（AIMC）的神经网络架构搜索（NAS）基准。该数据集旨在解决传统数字硬件在AIMC平台上的性能问题，通过硬件感知训练（HWT）评估架构的鲁棒性。数据集基于NAS-Bench-201的搜索空间，并引入了AIMC特有的硬件非理想性约束。AnalogNAS-Bench为研究人员提供了一个标准化的框架，用于比较和分析不同架构在AIMC条件下的性能。AnalogNAS-Bench is a neural architecture search (NAS) benchmark for analog in-memory computing (AIMC). This benchmark aims to address the performance issues of conventional digital hardware on AIMC platforms, and evaluates the robustness of neural architectures via Hardware-Aware Training (HWT). It is built upon the search space of NAS-Bench-201, and introduces AIMC-specific hardware non-ideality constraints. AnalogNAS-Bench provides researchers with a standardized framework to compare and analyze the performance of different neural network architectures under AIMC conditions.

搜集汇总

数据集介绍

构建方式

AnalogNAS-Bench的构建基于NAS-Bench-201搜索空间，通过扩展该搜索空间以纳入模拟内存计算（AIMC）特有的硬件约束。具体而言，该数据集通过IBM的AIHWKit工具包模拟AIMC硬件中的噪声和非理想性，包括设备间差异、周期噪声和时间漂移等。数据集中的每个架构均经过硬件感知训练（HWT）和多种量化配置评估，以确保其在AIMC环境中的性能表现。此外，数据集还提供了静态精度指标和时间漂移模拟结果，覆盖了60秒至30天的不同时间尺度。

特点

AnalogNAS-Bench作为首个专为AIMC设计的NAS基准数据集，其核心特点在于全面捕捉了AIMC硬件的非理想性对神经网络架构的影响。数据集不仅包含传统数字硬件下的基准精度，还提供了在模拟噪声、量化感知训练及硬件感知训练等多种配置下的性能指标。特别值得注意的是，该数据集揭示了架构拓扑与AIMC鲁棒性之间的关联，例如宽层结构和跳跃连接能显著提升抗噪声能力。此外，时间漂移模拟数据为研究长期稳定性提供了独特视角。

使用方法

使用AnalogNAS-Bench时，研究人员可通过其标准化API查询特定架构在AIMC环境下的各项性能指标。典型工作流程包括：首先获取目标架构在数字基准下的性能，随后评估其在模拟噪声下的精度损失，最后结合硬件感知训练结果分析鲁棒性。数据集支持跨方法比较，例如通过对比不同NAS算法在1天漂移条件下的精度变化来评估其有效性。对于深入分析，用户可提取架构的操作分布、路径模式等图特征，以探究其与AIMC适应性的关联。

背景与挑战

背景概述

AnalogNAS-Bench是由IBM Research Europe、Ecole Nationale Supérieure d’Informatique等机构的研究团队于2025年推出的首个面向模拟内存计算（AIMC）的神经架构搜索（NAS）基准数据集。该数据集基于NAS-Bench-201的搜索空间构建，通过集成AIMC特有的硬件非理想性约束（如器件间差异、周期噪声和时间漂移），为系统化评估神经网络架构在模拟计算环境中的鲁棒性提供了标准化框架。其核心研究目标在于解决传统数字神经网络架构与AIMC硬件特性不匹配的问题，填补了现有NAS基准在模拟计算评估领域的空白，对推动能效比优化的边缘计算芯片设计具有重要影响。

当前挑战

该数据集主要应对两大挑战：在领域问题层面，传统量化方法（如PTQ/QAT）无法有效捕捉AIMC特有的噪声模式，导致数字架构在模拟硬件上出现不可预测的精度损失；而构建过程中需克服硬件约束建模的复杂性，包括精确模拟相变存储器（PCM）的时序漂移效应，以及设计能反映跨阻阵列实际噪声分布的评估指标（如Noisy Accuracy和Analog Drift Accuracy）。此外，搜索空间设计需平衡架构多样性（15,625种拓扑）与评估成本，需开发分布式训练策略以完成超15万次硬件模拟实验。

常用场景

经典使用场景

AnalogNAS-Bench作为首个专为模拟内存计算（AIMC）设计的神经架构搜索（NAS）基准，其经典使用场景主要聚焦于评估和比较不同神经网络架构在AIMC硬件上的性能表现。通过模拟AIMC特有的非理想特性，如器件间差异、周期噪声和时间漂移，该数据集为研究人员提供了一个标准化的平台，用于系统性地探索和优化面向AIMC的神经网络设计。

解决学术问题

AnalogNAS-Bench解决了AIMC领域中的几个关键学术问题。首先，它揭示了传统量化技术在捕捉AIMC特有噪声方面的局限性，为量化方法的改进提供了方向。其次，通过分析架构特性与噪声鲁棒性的关系，该数据集明确了宽层、分支块和跳跃连接等设计对提升AIMC鲁棒性的重要性。最后，它为AIMC专用的NAS方法提供了公平比较的基础，填补了现有NAS基准在AIMC评估方面的空白。

衍生相关工作

AnalogNAS-Bench的推出催生了一系列相关研究工作。基于该基准，研究人员开发了多种AIMC专用的NAS方法，如AnalogNAS和GA for IMC AI hardware。同时，该数据集也为探索神经网络架构与新兴存储器件（如RRAM、FeRAM）的协同优化提供了基础，推动了模拟计算领域的算法-硬件协同设计研究。