PaperMind

PaperMind是一个用于评估多模态大语言模型（LLMs）在科学论文相关任务上表现的数据集。该数据集包含四个互补的任务：Q1（在科学背景下对视觉内容进行精确描述）、Q2（解释实验结果并生成连贯的分析叙述）、Q3（使用工具进行代理推理以从多篇论文或外部来源检索和综合证据）和Q4（基于真实同行评审场景对科学主张进行批判性检查）。数据集覆盖了农业、生物学、化学、计算机科学、医学、物理学和经济学等多个科学领域。数据按任务和领域组织，具体统计如下：Q1有1100个问题，Q2有995个问题，Q3有709个问题，Q4有294个问题。数据集规模在1K到10K之间，适用于代理推理、工具使用、科学论文分析等任务。

PaperMind is a dataset designed to evaluate the performance of multimodal large language models (LLMs) on scientific paper-related tasks. The dataset includes four complementary tasks: Q1 (precisely describing visual content in a scientific context), Q2 (interpreting experimental results and generating coherent analytical narratives), Q3 (using tools for agentic reasoning to retrieve and synthesize evidence from multiple papers or external sources), and Q4 (critically examining scientific claims based on real peer-review scenarios). The dataset spans multiple scientific fields such as agriculture, biology, chemistry, computer science, medicine, physics, and economics. Data is organized by task and field, with specific statistics as follows: Q1 has 1,100 questions, Q2 has 995 questions, Q3 has 709 questions, and Q4 has 294 questions. The dataset size ranges between 1K and 10K, making it suitable for tasks like agentic reasoning, tool usage, and scientific paper analysis.

原始信息汇总

数据集 PaperMind 概述

基本信息

• 数据集名称: PaperMind
• 许可证: MIT
• 语言: 英语
• 数据规模: 1K 到 10K 条数据
• 标签: agent、VLM、reasoning、tool_use、ai4science、peer_review

任务类型

PaperMind 基于科学论文构建了四个互补任务，用于评估大语言模型：

• Q1: 将视觉内容置于科学上下文中，生成精确描述
• Q2: 解释实验结果，生成连贯的分析叙述
• Q3: 利用工具使用进行智能推理，从多篇论文或外部来源检索并综合证据
• Q4: 基于真实同行评审场景，批判性地审视科学主张，澄清歧义、识别漏洞、缺失证据或不明确假设

支持领域

数据集涵盖以下科学论文领域：

• agriculture（农业）、biology（生物学）、chemistry（化学）、cs（计算机科学）、medicine（医学）、physics（物理学）、economics（经济学）

数据集结构

数据集按任务（Q1-Q4）和领域组织，目录结构如下：

• 每个任务（Q1-Q4）文件夹下，按领域划分 JSON 文件（如 Q1/agriculture/Q1.json）
• 独立存储各领域的原始论文相关数据（如 agriculture/、biology/ 等文件夹）

数据统计（按任务和领域）

任务	农业	生物学	化学	计算机科学	经济学	医学	物理学	总计
Q1	176	172	138	154	158	144	158	1100
Q2	142	151	141	150	146	121	144	995
Q3	103	101	111	118	83	101	92	709
Q4	-	-	-	294	-	-	-	294

总计数据量：Q1（1100条）、Q2（995条）、Q3（709条）、Q4（294条），共 3098条 数据。其中，Q4任务仅涵盖计算机科学领域。

搜集汇总

数据集介绍

构建方式

PaperMind数据集旨在评估多模态大语言模型在科学论文理解与推理方面的能力，其构建围绕四项互补性任务展开：Q1要求模型对论文中的视觉内容进行科学语境下的精准描述；Q2侧重于实验结果的解读与连贯分析；Q3模拟智能体推理场景，需通过工具调用检索并综合多篇论文或外部证据；Q4则基于真实同行评审情境，引导模型批判性地审视科学主张，澄清歧义并识别论证中的缺陷。数据源自农业、生物学、化学、计算机科学、医学、物理学及经济学七个学科领域，总计涵盖3098条精心设计的问题，并组织为按任务和领域分类的JSON文件结构，同时保留原始论文数据以支持深度评测。

特点

该数据集的核心特色在于其多维度的评测视角，不仅覆盖从基础视觉描述到高阶批判性推理的能力层次，更创新性地引入智能体推理（Q3）与同行评审（Q4）两大任务，填补了现有基准对工具使用与科学论证批判能力评估的空白。数据集横跨七个学科领域，确保评估的广泛性与领域特异性，其中Q4任务专门聚焦计算机科学领域，以深度反映该领域同行评审的典型挑战。此外，所有问题均源自真实学术论文，具有高度的专业性与现实关联性，为多模态科学推理研究提供了有力的评测工具。

使用方法

使用时，用户可直接从HuggingFace下载PaperMind数据集，其中每个任务（Q1至Q4）下按学科领域分别存储为独立的JSON文件，便于按需加载。对于视觉问答任务（Q1和Q2），需配合对应的论文图像数据使用；Q3任务则要求模型具备调用外部工具或检索多篇论文以获取证据的能力；Q4任务主要面向计算机科学领域，可直接用于评估模型对学术论证的批判性分析能力。建议研究者在标准评估框架下运行，以复现论文中的评测结果，亦可针对特定任务或领域进行子集测试，灵活适应不同研究方向的需求。

背景与挑战

背景概述

随着多模态大语言模型在科学文献理解领域的广泛应用，如何评估其深层推理与批判性分析能力成为新的研究焦点。PaperMind数据集由研究团队于近期构建，旨在填补现有基准测试在科学论文多模态理解与智能体推理评估中的空白。该数据集依托七个自然科学领域（涵盖农业、生物学、化学、计算机科学、医学、物理学及经济学）的学术论文，设计了四项互补性任务，包括视觉内容描述、实验结果解读、基于工具使用的多证据推理以及模拟同行评审的批判性分析。通过覆盖从基础感知到高阶推理的复杂能力谱系，PaperMind为多模态LLMs的科学素养评估提供了系统性框架，显著推动了AI4Science方向的发展，并成为检验智能体在学术场景中自主推理与反思能力的重要标杆。

当前挑战

PaperMind面临的核心挑战在于多维度科学推理能力的协同评估。领域层面，现有模型在视觉锚定与上下文关联、跨论文的异构证据整合以及隐含假设的识别等任务上表现薄弱，尤其在需要批判性思维的科学质疑环节，模型常陷入表面逻辑而缺乏深层审视。构建过程中，研究者需从海量多领域论文中抽提出兼具专业难度与交互复杂性的问题，确保任务覆盖从事实性描述到策略性决策的完整梯度，同时保证标注的可靠性、领域多样性以及工具调用环境的真实性，这对数据集的可扩展性与任务间能力迁移的公平性构成了严苛要求。

常用场景

经典使用场景

PaperMind数据集专为评估和提升多模态大语言模型在科学论文理解与推理方面的能力而设计。其经典使用场景涵盖四大互补任务：从科学图表与视觉元素的精准描述与语义解析，到实验结果的连贯分析叙述生成；从基于工具调用的多文献证据检索与综合推理，到模拟真实同行评审场景中对科学主张的批判性审视。这些任务横跨农业、生物学、化学、计算机科学、医学、物理学及经济学七大科学领域，为检验模型在专业科学语境中的视觉理解、逻辑推理、工具运用与批判思维提供了系统化基准。

解决学术问题

PaperMind数据集解决了当前多模态大语言模型在科学文献理解领域缺乏精细化、多维度评估基准的学术困境。以往工作多聚焦于单一模态或简单问答，难以衡量模型在真实科研场景中的深层能力。该数据集通过精选真实科研论文，设计了结构化任务，系统性地考察模型在科学图表精准描述、实验结果连贯解释、跨论文证据检索与整合推理，以及基于同行评审标准的科学批判能力。其意义在于推动模型从浅层文本理解迈向具备科研素养的智能体式推理，为评估和引导模型在AI4Science方向上的发展提供了坚实依据。

衍生相关工作

PaperMind数据集的诞生推动了多项相关工作的开展。基于其任务设计，研究人员发展了针对科学图表描述与推理的专用模型微调策略，以及融合检索增强生成（RAG）技术的多论文推理框架。在同行评审模拟任务（Q4）上，衍生出了面向计算机科学领域的论文质量评估模型和自动化审稿系统。此外，该数据集的出现也促进了跨领域科学推理基准的统一构建，启发了后续工作如SciQAG（科学问答生成）、MultiPaperSum（多论文摘要）等数据集的提出，形成了以结构化学术推理为核心的研究脉络。