NAS-Bench-Graph

一个专为图神经架构搜索设计的基准，支持统一、可复现和高效的评估。它涵盖了26,206个独特的图神经网络架构，并在九个代表性图数据集上进行了训练和评估，记录了详细的性能指标。

A benchmark specifically designed for graph neural architecture search that supports unified, reproducible and efficient evaluation. It encompasses 26,206 unique graph neural network architectures, and has been trained and evaluated on nine representative graph datasets, with detailed performance metrics recorded.

搜集汇总

数据集介绍

构建方式

NAS-Bench-Graph的构建始于对图神经网络架构搜索（GraphNAS）领域统一评估框架的迫切需求。研究团队首先设计了一个兼具表达力与紧凑性的搜索空间，将消息传递的宏结构建模为有向无环图（DAG），并精心挑选了七种经典GNN操作（如GCN、GAT、GIN等）作为候选，最终形成了包含26,206种独特架构的完备集合。在此基础上，他们制定了一套标准化的评估协议，涵盖数据集划分、超参数选择等关键环节，并在九个具有代表性的图数据集上（涵盖引文、电商、蛋白质等不同领域）对所有架构进行了完整的训练与评估。训练过程中，每个epoch的验证与测试性能、延迟、参数量等详细指标均被系统记录，全部实验重复三次以确保统计可靠性，总计耗费约8,000 GPU小时的计算资源。

特点

该数据集最显著的特点在于其开创性的表格化设计，使得GNN架构的性能评估能够通过简单的查表操作直接获取，彻底免去了重复训练的计算负担。其搜索空间不仅覆盖了从浅层到深层的多种宏结构模式，还包含了残差连接等高级设计，从而囊括了JK-Net、残差GNN等代表性变体。跨数据集的深度分析揭示了若干重要发现：性能分布呈长尾形态，高效且高性能的架构极为稀缺；不同图数据集对宏结构与操作选择存在显著偏好，简单迁移最优架构往往无法达到理想效果；架构空间展现出一定平滑性，为进化搜索策略提供了理论支撑。此外，数据集的构建严格遵循统一协议，确保了实验结果的可重复性与公平比较。

使用方法

NAS-Bench-Graph的使用极为便捷，研究人员可通过Python接口轻松加载特定数据集（如Cora）的预计算基准。使用时，只需以整数列表指定宏结构（描述各计算节点的输入来源），并以字符串列表指定对应位置的操作（如'gcn'、'gin'），即可构建一个架构对象。通过该对象的哈希值作为键，即可从基准字典中直接查询到验证性能、测试性能、延迟及参数量等关键指标。如需获取每个epoch的详细训练曲线，还可加载完整数据文件。该基准已成功集成至AutoGL与NNI等主流GraphNAS开源库，支持随机搜索、强化学习与进化算法等多种搜索策略，极大促进了GraphNAS研究的公平性与效率。

背景与挑战

背景概述

图神经网络架构搜索（GraphNAS）作为自动化图机器学习的前沿方向，近年来在学术界与工业界引发了广泛关注。然而，该领域长期受困于实验设置不统一与计算开销庞大两大瓶颈，导致不同研究间的结果难以公平比较与复现。为应对这一困境，清华大学计算机科学与技术系的秦一鉴、张子威、王鑫、张泽阳与朱文武等研究人员于2022年提出了NAS-Bench-Graph，这是首个专为图神经网络架构搜索设计的表格型基准数据集。该基准通过构建包含26,206种独特图神经网络架构的统一搜索空间，并在九个代表性图数据集上完成全部架构的预训练与评估，彻底改变了GraphNAS研究的评价范式。NAS-Bench-Graph的诞生不仅为算法比较提供了公平、可复现且高效的平台，更推动了图神经网络自动化设计领域的标准化进程，成为该领域里程碑式的基础设施。

当前挑战

NAS-Bench-Graph所应对的核心挑战主要源于GraphNAS领域的双重困境。其一，实验设置缺乏共识——不同研究在数据集划分、超参数选择及评估协议上存在显著差异，导致实验结果难以直接比较，甚至无法复现，严重阻碍了算法的公正评判与领域进步。其二，计算资源需求极为高昂——GraphNAS通常需要大量计算，尤其在大规模图数据上，训练单一架构即可能耗费数小时乃至数天，使得缺乏充足计算资源的科研团队难以深入参与该领域研究。此外，在基准构建过程中，研究团队还面临搜索空间设计与效率的平衡难题：既要确保空间表达力以覆盖代表性图神经网络架构，又要控制空间规模使穷举训练可行，最终通过精心设计的有向无环图约束与七种候选操作，在26,206种架构中实现了这一权衡，并耗约8,000 GPU小时完成全部训练记录。

常用场景

经典使用场景

在圖神經網絡架構搜索（GraphNAS）領域，NAS-Bench-Graph 作為首個專為圖數據設計的表格型基準，核心應用場景在於為研究者提供一個統一、可重複且高效的評估平台。通過預先訓練並記錄26,206種獨特圖神經網絡架構在九個代表性圖數據集上的完整性能指標，該基準允許用戶直接通過查表獲取架構的準確率、延遲與參數量，無需重複耗時的訓練過程。這一設計徹底解決了以往GraphNAS實驗設定不一、結果難以復現的困境，使得不同搜索策略（如隨機搜索、強化學習與進化算法）的公平比較成為可能，從而極大加速了圖神經網絡自動化設計的研究進程。

解决学术问题

NAS-Bench-Graph 精準回應了圖神經網絡架構搜索領域長期存在的兩大核心學術難題：實驗不可復現性與計算資源的高昂壁壘。以往研究因數據集劃分、超參數設定與評估協議的差異，導致不同方法間的比較缺乏公正基礎，甚至結果難以復現。該基準通過提出規範化的評估協議，統一了超參數與訓練流程，確保了所有架構在相同條件下被評估，從根本上保障了實驗的公平性與可復現性。同時，其預計算的查找表機制將架構評估的計算開銷降至近乎為零，使資源受限的研究團隊也能平等參與GraphNAS研究，極大降低了該領域的入門門檻，推動了圖機器學習自動化方向的健康發展。

衍生相关工作

NAS-Bench-Graph 的誕生催生了一系列重要的後續研究工作。在方法論層面，研究者基於其提供的豐富架構性能數據，深入分析了圖神經網絡架構的性能分布規律，發現高性能架構稀疏且效率差異顯著，從而啟發了面向效率與效果平衡的多目標搜索方法。在搜索策略創新上，該基準驗證了進化算法中突變操作的平滑性假設，並揭示了架構深層部分對性能的影響遠大於淺層，這一發現直接推動了基於逆序生成的強化學習搜索策略的發展。此外，跨數據集相關性分析表明，簡單遷移相似數據集的最優架構並非最優解，由此衍生出針對圖數據的遷移學習與領域自適應架構搜索方法，極大豐富了GraphNAS的理論體系與算法工具箱。