OpenGraphXAI benchmarks

这里可以找到OGX集合中的15个图XAI基准测试，以及生成更多基准测试的脚本。

This repository contains 15 image XAI benchmarks from the OGX collection, as well as scripts for generating additional benchmarks.

原始信息汇总

OpenGraphXAI 基准数据集概述

数据集基本信息

• 数据集名称: OpenGraphXAI benchmarks (OGX collection)
• 数据集数量: 15个图解释性人工智能(XAI)基准测试
• 扩展能力: 提供脚本可生成更多基准测试

数据加载方式

• 加载脚本: ogx_datasets_pyg.py

• 加载示例: python from ogx_datasets_pyg import OGXBenchmark dataset = OGXBenchmark(root=/tmp, data_name=alfa)

• 关键属性: 图中mask属性提供真实解释掩码

基准测试生成方法

候选基准挖掘

• 脚本: make-benchmark-candidates.py
• 参数说明:
  • --dataset: 选择原始图分类任务(来自TU collection)
  • --wl: 设置最大WL迭代次数
  • --max-labels: 每类考虑的最大候选标签数
  • --min-samples: 每类最小样本数过滤阈值
  • --balance-threshold: 类别不平衡比率阈值

基准数据集生成

• 脚本: make-benchmark-dataset.py
• 参数说明:
  • --name: 新生成XAI数据集名称
  • --dataset: 原始图分类任务名称
  • --label0, --label1: 为各类设置的WL标签(至少指定一个)
  • --format: 输出格式(networkx或json)

数据集资源

• OGX基准集合: ogx_benchmarks.csv(包含15个基准的生成参数)
• 扩展集合: ogx_extended_collection.csv(包含2000+额外XAI任务参数)

开发团队

• 所属机构: 比萨大学计算智能与机器学习组(CIML)

搜集汇总

数据集介绍

构建方式

OpenGraphXAI benchmarks数据集的构建基于图分类任务中的Weisfeiler-Leman（WL）标签技术，通过从TU集合中的原始图数据中挖掘候选基准并筛选符合条件的数据样本。构建过程包括两个关键步骤：首先利用`make-benchmark-candidates.py`脚本从指定数据集中挖掘潜在的基准候选，通过参数设置如最大WL迭代次数、最小样本数和类别平衡阈值等条件进行筛选；随后使用`make-benchmark-dataset.py`脚本根据选定的WL标签生成最终的XAI基准数据集，支持多种输出格式以满足不同研究需求。

特点

该数据集包含15个精心设计的图解释性人工智能（XAI）基准任务，并提供了扩展生成2000多个XAI任务的潜力。每个基准任务均基于WL标签技术构建，确保了图数据的结构解释性与可追溯性。数据集中的每个图均附有真实解释掩码（ground truth explanation mask），为图神经网络的可解释性研究提供了标准化评估基础。此外，数据集支持灵活的参数配置，能够生成不同复杂度和规模的基准任务，满足从基础研究到复杂场景验证的多样化需求。

使用方法

使用OpenGraphXAI benchmarks数据集时，需预先配置包含PyTorch Geometric的Python环境。通过提供的`ogx_datasets_pyg.py`脚本可便捷加载基准数据集，其中`OGXBenchmark`类支持指定数据集名称和存储路径进行初始化。研究人员可通过修改脚本参数选择不同的基准任务，或利用`make-benchmark-dataset.py`脚本生成自定义XAI任务。数据集支持networkx和JSON两种输出格式，便于与现有图分析工具链集成。对于扩展任务，可通过`ogx_extended_collection.csv`文件获取详细的生成参数，实现大规模可解释性实验的自动化构建。

背景与挑战

背景概述

OpenGraphXAI benchmarks数据集由比萨大学计算智能与机器学习组（CIML）开发，旨在为图解释性人工智能（XAI）研究提供标准化评估基准。该数据集包含15个精心设计的图XAI基准测试，并提供了生成更多基准测试的脚本工具。基于图学习领域的Weisfeiler-Leman算法，该数据集通过构建具有明确解释掩码的图分类任务，推动了可解释图神经网络的发展。其创新性在于将传统图分类任务转化为可解释性评估框架，为验证图神经网络的决策逻辑提供了重要实验平台。

当前挑战

该数据集主要面临两方面挑战。在领域问题层面，图数据的复杂拓扑结构使得解释神经网络决策过程尤为困难，需要设计既能保持图结构特性又能清晰界定重要子结构的评估标准。在构建过程中，如何平衡基准测试的多样性与可解释性验证的可靠性构成核心难题，具体表现为：Weisfeiler-Leman标签的选择需要满足类别区分度与样本规模的平衡；解释掩码的生成必须兼顾计算效率与理论合理性；大规模基准测试的自动化构建还需解决图数据预处理中的异构图兼容性问题。

常用场景

经典使用场景

在可解释图神经网络领域，OpenGraphXAI benchmarks数据集为研究者提供了一个标准化的评估平台。该数据集通过精心设计的图结构数据和对应的解释掩码，使得研究者能够系统地评估不同解释方法的性能。特别是在图分类任务中，该数据集支持对模型决策过程的透明性分析，帮助理解模型如何利用图结构信息进行预测。

实际应用

在实际应用中，OpenGraphXAI benchmarks可广泛应用于需要可解释图神经网络的场景。例如在药物发现领域，研究人员需要理解模型为何将某些分子结构分类为活性化合物；在社交网络分析中，该数据集帮助解释模型识别异常行为的依据。这些应用场景都依赖于对图神经网络决策过程的合理解释。

衍生相关工作

基于OpenGraphXAI benchmarks，研究者们已经发展出多项重要工作。其中包括新型图解释算法的开发、解释质量评估指标的创新，以及可解释图神经网络架构的设计。这些工作不仅扩展了原始数据集的应用范围，还推动了图机器学习领域可解释性研究的理论框架构建。部分衍生研究已在顶级机器学习会议上发表，形成了该领域的研究脉络。