ProGraph|图形分析数据集|大型语言模型数据集

用于评估大型语言模型是否能像专业人士一样分析图形的基准、数据集和模型。

原始信息汇总

ProGraph

数据集概述

• 名称: ProGraph
• 来源: BUPT-GAMMA
• 描述: 官方仓库，用于论文 "Can Large Language Models Analyze Graphs like Professionals? A Benchmark, Datasets and Models"，将提交至 NeurIPS 2024。
• 内容: 代码和模型即将发布。

AI搜集汇总

数据集介绍

构建方式

在构建ProGraph数据集时，研究团队借鉴了人类专家解决图分析问题的方法，首次提出通过代码生成的方式使大型语言模型（LLMs）能够处理图分析和推理任务。具体而言，当模型执行图分析任务时，引导其编写代码并调用相关Python库，随后从模型的响应中提取并执行代码以获取答案。这种方法不仅绕过了LLMs的上下文长度限制，还适用于任意规模的图数据分析。此外，针对开源模型，构建了包含两步链式思维推理的问答数据集，并通过指令微调教授模型如何编写代码解决问题；对于闭源模型，收集了六个Python库的API文档，并利用检索增强生成（RAG）技术提升模型性能。

特点

ProGraph数据集的核心特点在于其创新性地结合了代码生成与图分析任务，有效解决了现有方法在复杂图分析任务中的推理深度不足和上下文长度限制问题。该数据集不仅适用于大规模图数据处理，还通过两步链式思维推理和检索增强生成技术，显著提升了开源和闭源模型在图分析任务中的表现。此外，数据集的构建过程中还分析了不同模型在代码编写中的错误原因，为进一步优化模型提供了依据。

使用方法

使用ProGraph数据集时，首先需创建一个新的Python虚拟环境以避免依赖冲突，并安装所需的依赖项。接着，设置OpenAI API密钥及其他必要的环境变量。运行`execute.sh`脚本前，需根据所使用的模型类型（闭源或开源）编辑脚本参数，如模型名称、模型设置等。脚本将自动执行模型推理和评估过程，包括运行推理脚本生成模型结果，以及运行评估脚本对结果进行评估。通过调整脚本参数，用户可定制化模型的行为以满足特定需求。

背景与挑战

背景概述

ProGraph数据集由Xin Li及其团队在2024年创建，旨在解决大型语言模型（LLMs）在图分析领域的局限性。该数据集的核心研究问题是如何使LLMs能够像专业人士一样分析和推理图结构数据。通过引入代码生成的方法，ProGraph数据集不仅突破了现有LLMs在处理复杂图分析任务时的局限，还为图分析领域提供了新的研究方向。该数据集的发布对推动人工智能在图处理和分析方面的应用具有重要意义，尤其是在社交网络和推荐系统等实际应用场景中。

当前挑战

ProGraph数据集在构建过程中面临多项挑战。首先，现有研究依赖于LLMs的逐步推理，但这种推理深度有限，容易导致复杂任务中的推理错误。其次，描述图结构的方法受限于上下文长度，无法处理大规模图数据。此外，开源模型如Llama缺乏针对图分析和推理场景的指令调优数据集，而闭源模型如ChatGPT则需要构建专门的外部知识库。ProGraph通过引入代码生成方法，尝试解决这些挑战，但仍需进一步优化模型在编写代码解决图分析问题方面的能力。

常用场景

经典使用场景

ProGraph数据集的经典使用场景主要集中在大型语言模型（LLMs）在图分析和推理任务中的应用。通过引导模型生成代码并调用相关Python库，如NetworkX，ProGraph使LLMs能够处理大规模图数据，如计算百万节点图中的最短路径。这种编程式解决方案不仅绕过了LLMs的上下文长度限制，还显著提升了模型在复杂图分析任务中的准确性和效率。

实际应用

在实际应用中，ProGraph数据集被广泛用于提升推荐系统、社交网络分析和复杂网络管理等领域的算法性能。通过使LLMs能够处理和分析大规模图数据，ProGraph为这些应用提供了更高效、准确的解决方案。例如，在社交网络分析中，ProGraph可以帮助识别和预测用户行为模式，从而优化推荐算法和社区管理策略。

衍生相关工作

ProGraph数据集的提出催生了多项相关研究工作。例如，GraphTeam项目通过多智能体协作进一步提升了基于LLMs的图分析能力。此外，许多研究者利用ProGraph进行模型微调和性能评估，探索了不同模型在图分析任务中的表现差异。这些衍生工作不仅丰富了图分析领域的研究内容，还为实际应用提供了更多技术支持。