BioMaze

BioMaze数据集由北京大学、香港大学和西安交通大学创建，包含5100个从实际研究文献中精心策划和审核的复杂生物途径问题。这些问题涵盖了包括自然动态变化、干扰、额外干预条件以及多尺度研究目标在内的多种生物途径研究背景。数据集旨在帮助评估大型语言模型在生物途径推理方面的能力和挑战，特别是在处理受干预系统的复杂推理方面。

The BioMaze dataset, created by Peking University, The University of Hong Kong, and Xi'an Jiaotong University, contains 5100 complex biological pathway problems carefully curated and reviewed from real-world research literature. These problems cover diverse research contexts of biological pathways, including natural dynamic changes, disturbances, additional intervention conditions, and multi-scale research objectives. The dataset is intended to help evaluate the capabilities and challenges of large language models in biological pathway reasoning, especially for complex reasoning tasks involving intervened systems.

搜集汇总

数据集介绍

构建方式

BioMaze数据集是通过从真实的生物学研究论文中提取问题-答案对构建的，涵盖了包括自然动态变化、干扰、额外干预条件以及多尺度研究目标等多种生物学背景。数据集的创建过程包括使用大型语言模型（如GPT-4和LLaMA3.1-405B）生成问题，并通过自动化方法和专家人工审核进行筛选和验证。最终，BioMaze包含了5100个高质量的、复杂的生物学通路问题，这些问题经过精心策划和过滤，以确保其准确性和质量。

使用方法

使用BioMaze数据集的方法包括：1. 将LLM与通路图数据库相结合，使用图增强推理方法；2. 使用PATHSEEKER，这是一种基于子图导航的LLM推理代理，能够在推理过程中交互式地探索生物学通路；3. 使用基线方法，如CoT（Chain-of-Thought）和图增强推理方法，如CoK（Chain-of-Knowledge）、ToG（Think-of-Graph）和G-Retriever，与BioMaze进行比较和评估。

背景与挑战

背景概述

在生物学领域中，大型语言模型（LLMs）的应用已得到广泛探索，但其对复杂生物系统（如通路）的推理能力仍需深入挖掘。这种能力对于预测生物现象、提出假设和设计实验至关重要。BioMaze数据集应运而生，旨在探索LLMs在通路推理方面的潜力。该数据集由来自真实研究的5100个复杂通路问题组成，涵盖了包括自然动态变化、干扰、干预条件以及多尺度研究目标在内的各种生物背景。通过对CoT和图增强推理等方法进行评估，研究发现LLMs在通路推理方面存在困难，尤其是在扰动系统中。为了解决这个问题，研究者提出了PATHSEEKER，一个通过交互式子图导航来增强推理的LLM代理，使其能够更有效地处理生物系统的复杂性。

当前挑战

BioMaze数据集相关的挑战主要包括：1) LLMs在通路推理方面的能力不足，特别是在扰动系统中；2) 构建过程中，数据集的创建需要从真实研究文献中提取问题，并进行专家审核和过滤，以确保问题的准确性和质量；3) 通路推理的复杂性，包括长推理步骤、推理步骤错误和遗漏等问题。为了应对这些挑战，PATHSEEKER代理被提出，通过交互式子图探索来增强推理能力，并减少推理错误和遗漏。

常用场景

经典使用场景

BioMaze数据集的主要应用场景是对大型语言模型（LLMs）在生物学通路推理方面的能力进行评估和增强。该数据集包含了从真实研究中提取的5100个复杂的通路问题，覆盖了自然动态变化、干扰、额外干预条件以及多尺度研究目标等生物背景。研究者使用BioMaze对诸如CoT和图增强推理等方法进行了评估，发现LLMs在通路推理，尤其是在受干扰系统中，表现不佳。为了解决这一问题，研究者提出了PATHSEEKER，一个通过交互式子图导航来增强推理能力的LLM代理，使其能够更有效地处理生物学系统的复杂性。

解决学术问题

BioMaze数据集解决了LLMs在处理复杂生物学系统，如通路推理中的推理能力不足的问题。通路推理对于预测生物现象、形成假设和设计实验至关重要。通过提供包含真实研究场景中的问题的数据集，BioMaze有助于揭示LLMs在处理通路推理任务时的局限性，并提出了PATHSEEKER方法来提高LLMs的推理能力。PATHSEEKER通过交互式子图探索，模拟科学家在推理过程中使用通路网络的方式，从而提高了LLMs在生物学通路推理任务中的准确性和鲁棒性。

实际应用

BioMaze数据集的实际应用场景包括生物通路推理、假设形成、实验设计和结果解释等。在生物通路推理中，BioMaze可以用来评估和增强LLMs对生物学通路的理解和推理能力。在假设形成和实验设计中，BioMaze可以帮助研究人员形成关于生物系统如何响应不同干预或条件的假设，并设计相应的实验来验证这些假设。在结果解释中，BioMaze可以帮助研究人员解释实验结果，并理解不同干预或条件如何影响生物系统。此外，BioMaze还可以用于教育领域，帮助学生学习生物学通路的知识和推理技能。

数据集最近研究

最新研究方向

在生物学领域，大型语言模型（LLMs）的应用已经逐渐探索，但其在大规模复杂生物系统，如路径中的推理能力，仍然有待深入研究。为了解决这一问题，研究者们提出了一个名为BioMaze的数据集，其中包含了5.1K个复杂的路径问题，这些问题的来源是真实的生物学研究，涵盖了自然动态变化、干扰、额外的干预条件以及多尺度研究目标等多种生物学背景。通过对CoT和图增强推理等方法进行评估，研究者们发现LLMs在路径推理方面存在困难，尤其是在受扰动的系统中。为了应对这一挑战，研究者们提出了PATHSEEKER，一个LLM代理，通过交互式子图导航来增强推理能力，从而更有效地处理生物系统的复杂性。该数据集和代码可在https://github.com/zhao-ht/BioMaze获取。

相关研究论文

• BioMaze: Benchmarking and Enhancing Large Language Models for Biological Pathway Reasoning

  北京大学, 香港大学, 西安交通大学 · 2025年