ECHO

ECHO是一个新颖的基准，旨在严格测试图神经网络（GNNs）的长距离信息传播能力。当前基准通常关注局部交互，而ECHO引入了合成和真实世界的任务，其中成功的预测需要在图中遍历多达40跳。

ECHO is a novel benchmark designed to rigorously test the long-range information propagation capabilities of Graph Neural Networks (GNNs). While existing benchmarks typically focus on local interactions, ECHO introduces both synthetic and real-world tasks where successful prediction requires traversing up to 40 hops within the graph.

原始信息汇总

ECHO 数据集概述

数据集基本信息

• 数据集名称: ECHO (Can You Hear Me Now? A Benchmark for Long-Range Graph Propagation)
• 核心目标: 严格测试图神经网络（GNNs）的长距离信息传播能力。
• 关键特性: 引入了合成和真实世界任务，其中成功的预测需要在图中遍历多达 40 跳。
• 相关链接:
  • 论文: https://arxiv.org/abs/2512.17762
  • Hugging Face 数据集: https://huggingface.co/datasets/lucamiglior/echo-benchmark

数据集构成

ECHO-Synth（合成数据集）

• 数据规模: 10,080 个图。
• 图拓扑结构: 包含六种类型：line、ladder、grid-like、tree、caterpillar、lobster。
• 任务类型:
  1. Diameter (diam): 图回归任务，预测图的直径。
  2. Eccentricity (ecc): 节点回归任务，预测节点的偏心率。
  3. Single Source Shortest Path (sssp): 节点回归任务，预测单源最短路径。

ECHO-Chem（化学数据集）

• 数据规模: 200k 个分子图。
• 数据性质: 真实世界分子数据集。
• 任务类型:
  1. Energy (energy): 图回归任务，预测能量。
  2. Charge (charge): 节点回归任务，预测原子部分电荷，需要对长程原子相互作用进行建模。

排行榜（截至 2025年12月23日）

ECHO-Synth 任务表现

Diameter (Graph Regression)

模型	MAE (Mean ± Std)	最优模型
GRIT	1.014 ± 0.046	是
A-DGN	1.151 ± 0.038	否
SWAN	1.121 ± 0.070	否
DRew	1.243 ± 0.047	否
GIN	1.630 ± 0.161	否
PH-DGN	1.627 ± 0.398	否
GCNII	2.005 ± 0.093	否
GPS	2.160 ± 0.098	否
GraphCON	2.969 ± 0.189	否
GCN	3.832 ± 0.262	否

Eccentricity (Node Regression)

模型	MAE (Mean ± Std)	最优模型
DRew	4.651 ± 0.020	是
GPS	4.758 ± 0.021	否
GIN	4.869 ± 0.092	否
SWAN	4.840 ± 0.045	否
A-DGN	4.981 ± 0.037	否
GRIT	5.091 ± 0.158	否
PH-DGN	5.068 ± 0.126	否
GCN	5.233 ± 0.034	否
GCNII	5.241 ± 0.030	否
GraphCON	5.474 ± 0.001	否

Single Source Shortest Path (Node Regression)

模型	MAE (Mean ± Std)	最优模型
GRIT	0.121 ± 0.013	是
GPS	0.472 ± 0.050	否
SWAN	0.896 ± 0.232	否
A-DGN	1.176 ± 0.140	否
DRew	1.279 ± 0.011	否
PH-DGN	1.323 ± 0.485	否
GCN	2.102 ± 0.094	否
GCNII	2.128 ± 0.429	否
GIN	2.234 ± 0.271	否
GraphCON	5.734 ± 0.011	否

ECHO-Chem 任务表现

Energy (Graph Regression)

模型	MAE (Mean ± Std)	最优模型
GPS	5.257 ± 0.842	是
DRew	11.325 ± 2.394	否
A-DGN	12.486 ± 1.621	否
SWAN	12.629 ± 1.157	否
GCNII	13.235 ± 2.630	否
GraphCON	14.295 ± 0.807	否
PH-DGN	16.080 ± 1.123	否
GINE	23.558 ± 7.568	否
GRIT	25.508 ± 2.507	否
GCN	28.112 ± 1.239	否
GIN	47.851 ± 10.154	否

Charge (Node Regression)

模型	MAE (Mean ± Std) $ imes 10^{-3}$	最优模型
SWAN	6.109 ± 0.103	是
GPS	6.182 ± 0.219	否
A-DGN	6.543 ± 0.146	否
GINE	7.176 ± 0.371	否
GRIT	7.134 ± 6.090	否
PH-DGN	7.915 ± 0.269	否
GCN	8.421 ± 0.512	否
GCNII	8.829 ± 0.021	否
DRew	9.086 ± 0.473	否
GIN	10.784 ± 0.059	否
GraphCON	19.629 ± 0.195	否

使用方式

环境安装

推荐使用 uv 进行依赖管理。

数据下载

可通过提供的脚本下载数据集，脚本会自动从 Hugging Face 获取所需文件。

• 下载所有任务: python scripts/download-all.py
• 下载特定任务（示例）: python scripts/download-all.py --task diam

模型训练与评估

• 推荐使用 Jupyter Notebooks:
  • notebooks/train-model.ipynb: 训练模型的分步指南。
  • notebooks/make-predictions.ipynb: 加载训练好的检查点并生成预测。
• 命令行训练: 提供 scripts/train.py 脚本，可指定任务类型、GNN 类型、层数等参数。
• 超参数搜索: 提供 scripts/search.py 脚本（使用 Ray Tune 和 Optuna）进行超参数优化。

引用

若在研究中使用了 ECHO，请引用相关论文。

搜集汇总

数据集介绍

构建方式

在图形神经网络研究领域，评估模型的长距离信息传播能力一直是一项关键挑战。ECHO数据集的构建策略旨在弥补现有基准测试的不足，通过精心设计合成与真实世界任务来系统化评估模型性能。该数据集包含两个主要部分：ECHO-Synth与ECHO-Chem。ECHO-Synth部分基于六种经典图拓扑结构生成，涵盖了线型、梯型、网格状、树型、毛虫型及龙虾型等共计10,080个合成图，每个图都标注了与长距离传播相关的属性标签。ECHO-Chem部分则从现实世界的化学领域汲取数据，构建了一个包含20万分子图的数据集，这些分子图附有原子级电荷与整体能量等回归任务标签。数据集的构建过程注重任务的多样性，确保每个任务都需要模型在图结构中跨越多达40跳的距离进行信息传递，从而全面检验模型的远程推理能力。

特点

ECHO数据集的核心特征在于其专注于长距离图传播任务的系统性评估，为图形神经网络研究提供了前所未有的挑战维度。该数据集不仅包含合成图任务，还融入了真实的化学分子图数据，实现了从理论到应用场景的全面覆盖。合成部分通过多样化的拓扑结构模拟了不同图形态下的传播难题，而化学部分则引入了复杂的原子间相互作用，要求模型捕捉分子内部的远程依赖关系。数据集设计了图级回归与节点级回归等多层次任务，例如计算图的直径、节点的偏心距、单源最短路径，以及预测分子能量与原子电荷，这些任务均需要模型具备强大的全局信息整合能力。通过提供标准化的评估框架与详尽的排行榜，ECHO为不同模型的性能比较建立了可靠基准。

使用方法

研究者可通过多种便捷途径使用ECHO数据集进行模型训练与评估。数据集已托管于Hugging Face平台，用户可通过提供的Python脚本一键下载全部或特定任务的数据。为了降低使用门槛，开发团队准备了详细的Jupyter Notebook教程，逐步引导用户完成模型训练与预测的完整流程。对于偏好命令行操作的用户，数据集配套了灵活的培训脚本，支持通过参数指定图神经网络类型、卷积层结构、隐藏层维度等关键超参数。此外，数据集还集成了超参数搜索功能，利用Ray Tune与Optuna框架自动化地探索最优模型配置。用户可以根据研究需求，在合成任务或化学任务上训练模型，并通过标准化的评估指标对比模型在长距离传播任务上的表现。

背景与挑战

背景概述

在深度学习领域，图神经网络（GNNs）因其对非欧几里得数据的卓越建模能力而备受关注。然而，现有基准数据集多聚焦于局部邻域信息聚合，对长距离依赖关系的评估存在明显不足。ECHO基准数据集应运而生，由Luca Miglior、Matteo Tolloso等研究人员于2025年创建，旨在系统评估GNN模型在长达40跳的图结构中进行信息传播的能力。该数据集通过合成图与真实分子图的双重架构，为图回归与节点回归任务提供了严谨的测试平台，推动了图神经网络在远程关系建模方面的理论探索与技术突破。

当前挑战

ECHO数据集致力于解决图神经网络在长距离信息传播方面的核心挑战。传统GNN模型因过度平滑与感受野有限等问题，难以捕捉图中远端节点间的复杂关联。该基准通过直径计算、偏心距预测等任务，直接检验模型对全局图属性的推理能力。在构建过程中，研究团队面临双重挑战：一方面需设计具有明确理论解且拓扑结构多样的合成图，确保任务的可解释性与泛化性；另一方面需从真实分子数据中提取具有长程相互作用的物理化学属性，如原子部分电荷与分子能量，平衡数据真实性、规模性与任务难度。

常用场景

经典使用场景

在复杂网络分析领域，图神经网络的长距离信息传播能力一直是评估模型性能的核心挑战。ECHO数据集通过精心设计的合成与真实世界任务，为这一领域提供了标准化的评估框架。其经典使用场景聚焦于测试模型在图中跨越多达40跳的远程依赖关系捕捉能力，例如在合成图结构上预测图的直径或节点偏心率，以及在分子图上预测原子电荷分布。这些任务要求模型超越局部邻域聚合，实现全局图结构的理解，从而成为衡量图神经网络远程传播效能的黄金基准。

衍生相关工作

ECHO数据集的发布催生了一系列针对长距离图传播问题的创新性研究。基于其基准测试，众多经典图神经网络模型得以被重新评估与改进，例如GRIT、GPS、SWAN等模型在榜单中展现了卓越性能。这些衍生工作不仅涵盖了新型卷积算子设计，如A-DGN和PH-DGN，也促进了图Transformer架构与基于物理启发的消息传递机制的融合。相关研究持续拓展了图神经网络的表达能力边界，为解决更广泛的图结构预测问题奠定了方法论基础。

数据集最近研究

最新研究方向

在复杂图结构建模领域，传统图神经网络常受限于局部邻域聚合，难以捕捉长程依赖关系。ECHO基准的推出，标志着图学习研究正转向对超远程信息传播能力的系统性评估。该数据集通过合成与真实化学分子图任务，要求模型在高达40跳的路径上进行推理，直接挑战现有架构的深度感知极限。近期研究热点聚焦于开发新型图传播机制，例如GRIT、SWAN等模型在单源最短路径任务中展现的优越性能，揭示了结合注意力机制与多尺度聚合策略的有效性。这些进展不仅推动了图神经网络在药物发现与材料科学中的应用深化，也为理解图结构的全局特性提供了新的理论视角。