ResearchBench

ResearchBench是一个大规模的评估大型语言模型在科学研究发现中能力的基准数据集。该数据集由上海人工智能实验室等研究机构创建，包含12个学科领域的1386篇论文，通过自动化框架提取了研究问题、背景调查、灵感和假设等关键组件。数据集的构建目的是为了评估LLM在科学研究发现过程中的性能，特别是在处理灵感检索、假设组合和假设排序任务时的有效性。

ResearchBench is a large-scale benchmark dataset for evaluating the capabilities of large language models (LLMs) in scientific research discovery. Created by research institutions including the Shanghai AI Laboratory, this dataset contains 1,386 papers across 12 disciplinary fields, from which key components such as research questions, literature reviews, inspirations, and hypotheses have been extracted via an automated framework. The dataset is constructed to assess the performance of LLMs throughout the scientific research discovery process, particularly their effectiveness in handling tasks including inspiration retrieval, hypothesis composition, and hypothesis ranking.

搜集汇总

数据集介绍

构建方式

ResearchBench数据集通过自动化框架从12个学科的1386篇顶级期刊论文中提取关键组件，包括研究问题、背景调查、灵感和假设。为确保数据质量，研究团队邀请了物理学、化学、材料科学和天文学领域的五位专家对随机抽样的62篇论文进行验证，结果显示在仅考虑主要问题时分解准确率达到91.9%。为避免数据污染，所有入选论文均为2024年发表，且采用LLM代理框架动态更新最新文献。

使用方法

使用者可通过多轮迭代流程评估LLMs表现：首轮从75篇候选文献中筛选20%作为潜在灵感，次轮进一步浓缩至4%。假设构建阶段采用进化单元方法，通过突变、精炼和重组操作关联研究背景与灵感。排序任务则采用成对比较法，将真实假设与15个负假设进行对比评估。为消除位置偏差，每个假设对会进行正反两次比较取平均值，最终通过命中率和6级Likert量表量化模型性能。

背景与挑战

背景概述

ResearchBench是由上海人工智能实验室与南洋理工大学等机构于2025年联合推出的首个面向科学发现领域的大规模基准测试数据集。该数据集基于认知科学中创新思维形成的理论框架，将科研假设生成过程分解为灵感检索、假设构建和假设排序三个核心子任务。数据集覆盖了细胞生物学、化学、材料科学等12个学科领域，收录了1386篇发表于《自然》《科学》等顶级期刊的2024年度最新论文，通过专家验证的自动化框架提取了研究问题、背景调查、灵感来源等关键要素。作为评估大语言模型科研创新能力的首创性基准，ResearchBench为量化分析模型在跨学科科学发现中的表现提供了标准化平台，对推动AI辅助科研具有重要意义。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，科学假设生成需要模型具备从看似无关的知识中建立新颖关联的能力，这种非分布式的灵感检索任务超出了传统分类任务的范畴；在构建过程层面，研究者需解决2024年新发表论文与模型预训练数据的时序隔离问题，通过动态更新的自动化提取框架避免数据污染。此外，跨学科知识要素的准确提取与验证、负样本灵感的层次化设计（包括同领域负样本和跨领域负样本），以及假设质量评估中的位置偏差消除，都是构建过程中需要攻克的技术难点。

常用场景

经典使用场景

ResearchBench数据集在评估大语言模型（LLMs）在科学发现中的能力方面具有经典应用场景。通过将科学发现过程分解为灵感检索、假设构建和假设排序三个子任务，该数据集为研究者提供了一个系统化的评估框架。在灵感检索任务中，模型需要从大量文献中识别与给定研究问题相关但未被广泛认知的潜在灵感来源；假设构建任务则要求模型将研究背景与检索到的灵感有机结合，生成新颖且合理的科学假设；假设排序任务进一步评估模型对生成假设的质量判断能力。这一系列任务的设计，使得ResearchBench成为衡量LLMs在科学发现领域潜力的重要工具。

解决学术问题

ResearchBench数据集解决了科学发现领域中缺乏系统性评估基准的关键问题。传统上，科学发现的评估往往依赖于主观判断或特定领域的有限数据集，难以全面衡量模型的创新能力。该数据集通过跨12个学科、1386篇高质量论文的构建，提供了标准化的评估环境。其核心贡献在于验证了LLMs能够捕捉知识间的潜在关联（灵感检索准确率达45.7%），并量化了模型在假设生成和排序任务中的表现差异。这为理解模型规模、训练策略与科学发现能力的关系提供了实证基础，填补了LLMs在创造性推理评估方面的研究空白。

实际应用

在实际应用中，ResearchBench为构建自动化科研辅助系统提供了关键技术支撑。基于该数据集训练的模型可应用于文献挖掘系统，帮助研究者快速发现跨学科知识关联；在科研选题阶段，系统能根据用户输入的研究背景自动生成候选假设，显著提升创新效率。例如在材料科学领域，模型通过分析能源存储领域的研究问题，成功关联纳米结构调控与电化学性能优化的灵感文献，辅助研究者提出新型电极材料设计假设。这种应用模式正在改变传统依赖专家经验的科研范式，推动形成数据驱动的科学发现新方法。

数据集最近研究

最新研究方向

近年来，ResearchBench数据集在科学发现领域的研究方向主要集中在评估大型语言模型（LLMs）在科学假设生成中的能力。该数据集通过分解科学发现过程为灵感检索、假设组合和假设排名三个子任务，为LLMs提供了一个全面的评估框架。前沿研究显示，LLMs在灵感检索任务中表现出色，能够识别与研究方向相关但尚未被广泛认知的知识关联，这表明LLMs具有潜在的“科学假设挖掘”能力。此外，该数据集的应用还扩展到跨学科研究，覆盖了12个学科领域，为科学发现的自动化提供了新的可能性。

相关研究论文

• ResearchBench: Benchmarking LLMs in Scientific Discovery via Inspiration-Based Task Decomposition

  上海人工智能实验室, 南洋理工大学, 新南威尔士大学, 新加坡国立大学, 武汉大学 · 2025年