GraphARC

GraphARC是由苏黎世联邦理工学院研发的图结构抽象推理基准数据集，旨在系统评估模型在少样本学习范式下的图变换规则归纳与应用能力。该数据集包含21类基于图原语的变换规则，涵盖节点着色与结构修改两大类别，数据实例通过程序化方式从多种图族（如Erdős-Rényi、小世界网络、树图等）中自动生成，支持5至250个节点的规模扩展，具备理论上无限的数据供给能力。其构建过程采用基于属性的验证框架，确保每个任务实例的变换规则具有唯一可解性，主要应用于评估大语言模型与图基础模型的抽象推理、组合泛化及结构理解能力，为图机器学习领域提供可扩展的测评基准。GraphARC, a graph-structured abstract reasoning benchmark dataset developed by ETH Zurich, is designed to systematically evaluate models' ability to induce and apply graph transformation rules under the few-shot learning paradigm. This dataset contains 21 categories of graph primitive-based transformation rules, covering two major categories: node coloring and structural modification. Data instances are automatically generated programmatically from various graph families, including Erdős-Rényi graphs, small-world networks, tree graphs and more, supporting scale expansion from 5 to 250 nodes with theoretically unlimited data availability. Its construction adopts an attribute-based verification framework to ensure that the transformation rules of each task instance have unique solvability. It is primarily applied to evaluate the abstract reasoning, compositional generalization and structural understanding capabilities of large language models (LLMs) and graph foundation models, providing a scalable evaluation benchmark for the field of graph machine learning.

原始信息汇总

Graph-Based ARC Challenge (GraphARC) 数据集详情

数据集概述

GraphARC 项目是对 Abstraction & Reasoning Corpus (ARC) 的扩展，将其引入图领域，创建了超越网格邻接结构的新型谜题类任务，用于测试人工智能的推理能力。

数据集结构

数据集存储在 datasets/ 目录下，每个基准任务包含独立的子目录，例如 star_colorLeaves，其结构如下：

• textual/: 编码的图结构（邻接、关联矩阵）
  • input/: 按节点数组织的输入图编码（如 5、10、15 个节点）
  • output/: 按节点数组织的输出图编码
• visual/: 图的可视化（PNG 格式）
  • input/: 输入图可视化
  • output/: 输出图可视化
• prompts/: 用于模型查询的提示词
• responses/: AI 模型的响应结果
• specs.json: 该基准的完整元数据

基准任务类型

基准类型	描述
addHub	添加一个新的蓝色中心节点，连接到所有现有节点
bipartitionCompletion	根据种子节点进行二部划分，为节点着色
colorComponents	根据连通分量成员关系为节点着色
colorDegreeX	将为所有度数为 X 的节点着色为蓝色（X = 1, 2, 3 等）
colorInternal	将树中所有非叶子（内部）节点着色为蓝色
colorLeaves	将所有叶子节点（度数为 1）着色为蓝色
colorMaxDegree	将所有具有最大度数的节点着色为蓝色
colorMinDegree	将所有具有最小度数的节点着色为蓝色
colorNeighbors	将指定橙色节点的所有邻居着色为蓝色
colorPath	将两个指定节点之间路径上的所有节点着色为蓝色
edgeToNode	用新节点替换每条边，新节点连接到原边的两个端点
removeDegreeX	移除所有度数为 X 的节点（X = 1, 2 等）

评估数据

evaluation_data/ 目录包含评估结果和可视化：

• evaluation_summary.csv: 汇总的评估指标
• evaluation_summary_<model>.png: 每个模型的性能图表
• visualizations/: 生成的可视化和分析图表

工作流程

1. 生成图数据集: 使用不同结构和大小生成图
2. 生成提示词: 配置自定义提示词
3. 运行模型: 在生成的提示词上运行模型（支持批量处理）
4. 评估模型性能: 评估模型响应
5. 可视化结果: 生成结果可视化

参考引用

• F. Chollet. On the Measure of Intelligence. arXiv:1911.01547, 2019.
• ARC Prize Foundation. OpenAI O3 Breakthrough on ARC-AGI-PUB. Blog

搜集汇总

数据集介绍

构建方式

GraphARC以图结构为核心，在少样本学习范式下构建基准数据集。它借鉴了抽象与推理语料库（ARC）的设计理念，将每个任务定义为从2-3个输入-输出图对中推断变换规则，并应用于新的测试图。数据集包含21种不同的图变换，涵盖颜色变换（如基于度数、连通分量着色）和结构变换（如添加中心节点、删除特定度的节点）。任务通过预定义规则、参数和前置步骤自动生成，并利用属性验证系统确保生成图满足变换的条件。图从多个家族（如Erdős-Rényi、Watts-Strogatz、树、二分图等）中生成，且支持对示例数量和尺寸的灵活控制，从而系统性地评估模型的泛化能力，尤其关注从较小到更大图实例的跨规模泛化。

特点

GraphARC的特点在于其将图论与抽象推理融合，提供了一个超越传统网格或文本格式的评估框架。它通过颜色和结构两类变换，覆盖了局部（如度数操作）、全局（如连通分量）和层级（如树中最近公共祖先）三种图推理层面，且能够自动生成海量、多样化的图实例。其独特之处在于可扩展性：通过变化测试图的大小（从5个节点到250个节点），能够揭示模型在规模增加时的性能退化模式。此外，数据集将节点分类、链接预测和图生成等经典图学习任务整合在一个统一框架下，并采用完整输出与基于问题的双通道评估，分离模型的理解能力与执行能力，从而精细诊断失败模式。

使用方法

使用GraphARC时，用户首先从21种变换中选择任务，并通过参数配置生成输入-输出图对。图以文本形式编码（邻接列表或关联列表）供语言模型处理，并支持多种系统提示（如分析师、程序员、教师角色）以探索提示策略的影响。评估分为两个路径：完整输出路径要求模型生成完整的变换后图，并通过图同构检查匹配真值；问题路径则针对输入图或输出图提出具体问题（如节点数、边数、度数、连通性等），以隔离模型的图属性识别能力与变换规则应用能力。数据集支持从5到250个节点的图规模扩展，特别适合测试模型在少样本条件下的跨规模泛化性能，结果以准确率形式呈现，可用于对比不同模型和编码方案的推理表现。

背景与挑战

背景概述

GraphARC数据集诞生于ETH Zürich分布式计算实验室，由Saku Peltonen等人于2026年在ACM SIGKDD会议上提出。其核心研究问题聚焦于将抽象推理从传统的网格范式拓展至图结构数据，旨在构建一个能够系统评估人工智能模型在关系推理、规则归纳与组合泛化能力上的基准测试。该数据集受Abstraction and Reasoning Corpus启发，但突破了其基于固定网格的限制，通过在多种图家族和规模上自动生成实例，实现了对局部、全局及层级图变换的全面覆盖。GraphARC不仅为语言模型在结构化数据上的推理能力提供了精细化的诊断框架，更对图基础模型的发展产生了深远影响，推动了抽象推理向更普适、更可扩展的方向演进。

当前挑战

GraphARC所面对的挑战涵盖领域前沿与构建实践双重层面。在领域问题层面，首要挑战在于弥合模型对图属性的理解与完整执行图变换之间的‘理解-执行鸿沟’，即多数语言模型虽能回答关于图结构的问题，却在端到端生成变换后的输出图上表现乏力。此外，随着测试图规模从10个节点扩展至250个节点，模型性能普遍遭遇可扩展性瓶颈，暴露出注意力机制或工作记忆的固有局限。在数据集构建过程中，确保生成的示例组合能唯一确定最简单的变换规则是一项精细工程，需要设计复杂的三态属性验证系统来剔除无效或歧义任务。同时，在多种图家族（如Erdős-Rényi、树、星形图等）上自动生成多样化的变换任务，并保证变换逻辑在语义与结构上都准确无误，亦是构建过程的重要挑战。

常用场景

经典使用场景

GraphARC的核心应用在于评估和推动人工智能系统在图结构数据上的抽象推理能力。它继承并泛化了Abstraction and Reasoning Corpus（ARC）的少样本变换学习范式，将传统的网格化推理任务拓展至图结构领域。每个任务要求模型从极少的输入-输出图对中推断出潜在的变换规则，并将其应用于新的测试图。这些变换涵盖了局部结构（如节点度数、邻域）、全局可达性（如连通分量）以及层级关系（如树中的最近公共祖先）等多种图论概念，从而为衡量模型的组合泛化能力提供了一个系统性的评测平台。

实际应用

在实际应用层面，GraphARC所测试的抽象图变换能力具有广阔的用武之地。例如，在知识图谱的自动化补全与纠错中，系统需要根据少量示例推断出实体间的关系变换模式；在程序合成场景里，将抽象的操作模式（如“移除所有度数为1的节点”）转化为可执行的代码逻辑；在生物信息学中，相似的分子图结构变换可用于药物发现中的分子优化。此外，该基准的自动生成框架能够按需产生不同规模和类型的图实例，使其成为训练和验证图基础模型在真实世界中泛化能力的理想试验床。

衍生相关工作

GraphARC的提出催生了多个方向的研究工作。其一，直接激励了针对图结构数据的少样本推理模型的开发，尤其是融合符号推理与神经网络的混合架构；其二，促使研究者深入探究大语言模型在图推理中的规模扩展行为，挑战了“更大即更好”的朴素观念；其三，推动了旨在缓解“理解-执行鸿沟”的新型训练策略，如课程学习、模块化推理与链式思维提示的优化。该数据集还启发了对图编码敏感性的分析，研究表明不同的文本化表征方式（如邻接表与关联表）对模型性能具有不可忽略的影响，为后续的图-文本编码研究奠定了关键基础。