GLEMOS

GLEMOS是一个全面的基准数据集，用于即时图学习模型选择，涵盖了链接预测和节点分类等基本图学习任务，包括366个模型在457个图上的性能数据。

GLEMOS is a comprehensive benchmark dataset designed for on-the-fly graph learning model selection, covering fundamental graph learning tasks such as link prediction and node classification, and containing performance data of 366 models evaluated across 457 graphs.

原始信息汇总

GLEMOS 数据集概述

数据文件

数据文件组织在 data 目录下的以下子目录中：

• metafeats: 包含多种类型的元图特征（例如，M_regular 和 M_compact），这些特征是为每个图生成的。
• testbeds: 包含用于训练和评估模型选择算法的数据分割（例如，性能矩阵和元图特征的分割）。
• workspace: 包含一个 pickle 文件，该文件包括使用不同性能指标和不同元图特征集获得的两个 GL 任务的性能矩阵，以及 GL 模型列表、图的名称和领域。
• link-pred-perfs: 包含在所有图上评估的链接预测性能。每个目录中的 perf_dict.json 文件提供了相应图上模型的性能，通过多个适用的指标（例如，roc auc 和平均精度）进行测量。
• node-class-perfs: 包含在具有节点标签的子集图上评估的节点分类性能。每个目录中的 perf_dict.json 文件提供了相应图上模型的性能，通过多个适用的指标（例如，准确性和平均精度）进行测量。
• graph-splits: 包含所有图的边分割和具有节点标签的子集图的节点分割。
• graph-data: 包含从 PyTorch Geometric 和 Network Repository 下载的图数据文件（例如，边列表、节点特征和节点标签）。

图学习（GL）模型性能收集

数据集提供了广泛的 GL 模型在基准中包含的图上的性能记录。性能记录可以通过上述链接下载。基准设计为易于扩展新的图学习模型和新的图。

元图特征

提供了以下四种元图特征：

• M_regular: 在 metafeats/regular_meta_feats.py 中定义。
• M_graphlets: 在 metafeats/graphlets_meta_feats.py 中定义。
• M_compact: 在 metafeats/compact_meta_feats.py 中定义。
• M_{reg+graphlets}: 这是 M_regular 和 M_graphlets 的串联。

评估模型选择算法

提供了以下五种评估设置：

• Fully-Observed Testbed: 在 fully_observed_testbed.py 中定义。
• Partially-Observed (Sparse) Testbed: 在 partially_observed_testbed.py 中定义。
• Out-Of-Domain Testbed: 在 out_of_domain_testbed.py 中定义。
• Small-To-Large Testbed: 在 small_to_large_testbed.py 中定义。
• Cross-Task Testbed: 在 cross_task_testbed.py 中定义。

提供了以下模型选择算法：

• GB-Perf: 在 gb_perf.py 中定义。
• GB-Rank: 在 gb_rank.py 中定义。
• ISAC: 在 isac.py 中定义。
• ARGOSMART (AS): 在 argosmart.py 中定义。
• Supervised Surrogates (S2): 在 supervised_surrogates.py 中定义。
• ALORS: 在 alors.py 中定义。
• NCF: 在 ncf.py 中定义。
• MetaOD: 在 metaod_model.py 中定义。
• MetaGL: 在 metagl_model.py 中定义。
• Random Selection: 在 random_selection.py 中定义。