PeerQA

PeerQA是一个基于同行评审的科学问答数据集，包含问题的标识符、问题文本、答案证据、自由形式的答案以及答案是否可回答的标记等信息。该数据集适用于问题回答、文本生成、文本分类和文本检索等任务。

搜集汇总

数据集介绍

构建方式

PeerQA数据集的构建是基于同行评审过程中的科学问答，数据采集自开放评审平台OpenReview。构建过程中，首先提取论文全文，并通过专家生成的标注识别出问题、答案及证据。数据集包括问题、问题对应的论文ID、证据句子、自由形式答案等字段，构建方法注重证据与问题的关联性，旨在为科学问答任务提供高质量的数据。

特点

PeerQA数据集的特点在于其专注于科学领域的问答，包含了长文档的问答场景，为研究长上下文下的问答任务提供了独特的数据资源。数据集涵盖了问题回答的可答性信息，并提供了基于GPT-4o生成的增强答案，以及原始证据与文本提取的映射信息，这些特点使其在科学问答研究中的应用具有较高的价值。

使用方法

使用PeerQA数据集时，用户可以通过HuggingFace的datasets库加载QA数据、论文数据和相关性数据。对于论文数据，用户可以选择下载包含所有论文的版本或仅包含具有许可许可的论文版本。此外，数据集还提供了通过GROBID服务处理的论文文本，用户需确保相关服务可用或在本 地运行GROBID服务。通过这些方法，用户可以方便地访问和利用PeerQA数据集进行相关研究。

背景与挑战

背景概述

PeerQA数据集，作为科学领域的问题回答数据集，是在2025年由Tim Baumgärtner、Ted Briscoe和Iryna Gurevych等专业研究人员共同创建的。该数据集旨在通过同侪评审过程中的问题与答案，为科研领域的问答系统提供高质量的训练材料。PeerQA包含了从同行评审中提取的问题、答案以及证据文本，这些问题通常涉及对科学论文的深入理解。由于其独特的数据来源和结构，PeerQA对科学问答系统的研究与开发产生了显著影响，为相关领域的研究提供了宝贵的资源。

当前挑战

在构建PeerQA数据集的过程中，研究人员面临了多项挑战。首先，数据集的构建需要处理大量的科学论文和评审文本，这要求高效率的文本提取和处理技术。其次，由于版权问题，无法直接提供原始PDF文件，而是需要通过GROBID等工具从开放获取的论文中提取文本，这可能会引入误差。此外，数据集中的问题回答往往需要深层次的理解和推理，这对现有问答模型提出了更高的要求。在研究领域问题上，PeerQA数据集的挑战在于如何有效地从长篇文档中检索和利用相关信息来生成准确的答案。

常用场景

经典使用场景

在科学问答研究领域，PeerQA数据集被广泛用于模拟同行评审过程中的问答互动，其经典使用场景在于训练模型以理解和回应针对科学论文的深入问题，从而提升自动问答系统的智能水平。

实际应用

在实际应用中，PeerQA数据集可用于构建智能问答助手，支持科研人员快速定位和理解学术论文的核心内容，提高学术研究的效率，同时也为学术出版和评审过程提供自动化辅助。

衍生相关工作

基于PeerQA数据集，衍生出了一系列相关工作，包括但不限于改进文本抽取技术、增强长文档处理能力、以及提升答案生成的自然性和准确性，这些工作进一步推动了科学文献处理和理解领域的技术进步。