Graph Robustness Benchmark (GRB)

用于评估图机器学习模型对抗鲁棒性的可扩展、统一、模块化和可重复的基准数据集。

A scalable, unified, modular, and reproducible benchmark dataset for evaluating the adversarial robustness of graph machine learning models.

搜集汇总

数据集介绍

构建方式

图机器学习模型的对抗鲁棒性评估长期受困于规模不一、场景模糊与评估协议各异等难题。为打破这一僵局，Graph Robustness Benchmark (GRB) 应运而生，致力于构建一个可扩展、统一、模块化且可复现的基准平台。其数据集构建匠心独运，囊括了从grb-cora、grb-citeseer等小型引文网络，到grb-flickr、grb-reddit、grb-aminer等中大型社交与学术图谱，覆盖了从数千到数十万节点的广阔规模。为精准刻画攻击难度，GRB引入了一种以节点度为核心的分割方案：依据节点度排序，剔除极端低度与高度节点后，将剩余节点三等分，并从中随机采样形成Easy、Medium、Hard三种难度级别的测试子集，从而模拟从易攻到难攻的现实挑战。此外，所有特征均经过标准化与arctan变换，统一映射至[-1, 1]区间，确保攻击约束的公平性。

特点

GRB数据集最为瞩目的特点在于其为对抗鲁棒性评估量身定制的系统性设计。首先，它具备高度的可扩展性，数据集规模横跨多个数量级，能够满足从小规模实验到大规模工业级应用的不同需求。其次，其独特的基于节点度的分割方案，使得攻击与防御的难度层次分明，为深入探究不同拓扑结构下的鲁棒性提供了精细化的分析维度。更为关键的是，GRB内置了统一且现实的评估场景，明确区分了图修改与图注入两种攻击范式，并严格限定攻击者为黑盒与逃逸设定，防御者则在归纳式学习框架下进行防御，彻底摒弃了以往研究中不切实际的假设。这种标准化的评估协议，结合模块化的代码框架与公开的排行榜，确保了不同攻击与防御方法能够在同一尺度下进行公正、透明的比较，极大地推动了图对抗学习领域的可复现研究与良性竞争。

使用方法

GRB的使用方法充分体现了其模块化设计的便捷性。用户可通过简洁的Python接口，轻松加载预处理的GRB数据集，并调用内置的多种图神经网络模型（如GCN、GAT、GraphSAGE等）进行训练。在评估对抗鲁棒性时，只需几行代码即可应用内置的攻击算法（如TDGIA、SPEIT、PGD等）对模型进行黑盒攻击，或部署防御机制（如对抗训练、层归一化等）以增强模型韧性。GRB提供了统一的评估器，能够自动计算加权准确率等关键指标，并支持一键复现排行榜上的实验结果。无论是进行模型鲁棒性对比、新型攻击防御方法的开发，还是深入探索图结构与鲁棒性之间的关系，研究者都能借助GRB的标准化流水线，将精力聚焦于核心算法创新，而非繁琐的环境配置与实验复现。

背景与挑战

背景概述

图机器学习（GML）模型在社交网络分析、分子图建模和推荐系统等领域展现出卓越性能，然而其面对对抗性攻击时的脆弱性已成为制约其实际部署的关键瓶颈。为系统评估GML模型的对抗鲁棒性，清华大学、微软研究院、复旦大学与浙江大学的研究团队于2021年在NeurIPS上发布了图鲁棒性基准（Graph Robustness Benchmark, GRB）。该基准由郑钦凯、邹旭等学者主导，旨在构建一个可扩展、统一、模块化且可复现的评估框架，核心研究问题是如何在真实场景下公平比较攻击与防御策略的有效性。GRB通过提供多尺度数据集、精细化攻击场景（图修改与图注入）以及标准化评估协议，填补了图对抗学习领域缺乏统一基准的空白，对推动鲁棒GML模型的发展具有重要影响力。

当前挑战

GRB所应对的领域挑战主要包括：首先，现有攻击与防御设定常基于不切实际的假设，如忽略攻击者与防御者在真实世界中的能力边界，导致评估结果缺乏实际指导意义。其次，领域内缺乏统一的评估协议，不同工作采用各异的数据集划分、攻击约束与评价指标，使得方法间的公平比较极为困难。此外，多数现有方法仅在小规模图（节点数少于10,000）上验证，无法适应真实应用的大规模与复杂性。在构建过程中，GRB面临数据集规模跨度大、特征归一化与难度分层划分需兼顾鲁棒性评估等挑战，同时需确保攻击与防御实现模块化以支持可复现性，并维护公开排行榜以持续追踪领域进展。

常用场景

经典使用场景

在图机器学习领域，对抗性攻击对模型的鲁棒性构成了严峻挑战。Graph Robustness Benchmark (GRB) 作为一个可扩展、统一、模块化且可复现的基准，专为评估图机器学习模型的对抗鲁棒性而设计。其最经典的使用场景在于标准化攻击与防御的评估流程，涵盖图修改和图注入两种攻击场景。通过提供不同规模的数据集（如grb-cora、grb-flickr、grb-aminer）以及统一的评估协议，GRB使得研究者能够在黑盒、归纳式、逃逸攻击的设定下，公平地比较多种图神经网络模型（如GCN、GAT）在面对各类攻击时的表现。这一场景为鲁棒性研究奠定了坚实的实验基础。

解决学术问题

GRB致力于解决图机器学习领域对抗鲁棒性评估中的三大核心学术问题：首先，它纠正了此前研究在攻击与防御场景设定上的不现实性，通过明确定义攻击者和防御者的能力边界，构建了更贴近实际应用的评估框架。其次，它填补了缺乏统一评估协议的空白，通过标准化数据集划分、攻击约束和评价指标，消除了因实验设置差异导致的比较偏差。最后，它攻克了可扩展性难题，提供了从小规模到大规模（如grb-reddit拥有超过23万个节点）的多样化数据集，使得对鲁棒性的研究不再局限于小型图。这些贡献显著推动了图对抗学习领域的规范化与进步。

衍生相关工作

GRB的推出催生了一系列重要的衍生工作。在防御方法方面，基于GRB框架提出的层归一化（Layer Normalization）和对抗训练（Adversarial Training）技术被证明能够普遍提升多种图神经网络的鲁棒性，成为后续研究的强基线。在攻击方法方面，TDGIA（Topological Defective Graph Injection Attack）等高效注入攻击的提出，进一步推动了攻击与防御的军备竞赛。此外，GRB的模块化设计为后续基准工作（如针对异构图或图分类任务的鲁棒性评估）提供了可借鉴的范式，促进了图机器学习鲁棒性领域的系统性发展。