PeerQA

PeerQA是一个来自同行评审的科学文档级问答数据集。该数据集中的问题来源于评审者在彻底审查科学文章时提出的问题，答案由每篇论文的原始作者注释。数据集包含来自208篇学术论文的579个问答对，大部分来自机器学习和自然语言处理领域，还包括地球科学和公共卫生等其他科学社区的子集。

PeerQA is a scientific document-level question answering (QA) dataset originating from peer reviews. The questions in this dataset are the inquiries raised by reviewers when conducting thorough reviews of scientific articles, and the corresponding answers are annotated by the original authors of each paper. The dataset contains 579 question-answer pairs sourced from 208 academic papers, with the majority coming from the fields of machine learning and natural language processing, and also includes subsets from other scientific communities such as earth science and public health.

原始信息汇总

PeerQA 数据集概述

数据集简介

PeerQA 是一个真实世界的科学文档级问答（QA）数据集。该数据集中的问题来源于同行评审过程中评审者提出的问题，答案则由论文原作者提供。数据集包含 579 个 QA 对，来源于 208 篇学术论文，主要来自机器学习和自然语言处理领域，同时也包含地球科学和公共卫生等其他科学社区的子集。

数据集组成

• papers.jsonl：包含论文的相关信息，如标题、摘要、段落等。
• qa.jsonl：包含问题、答案以及答案的证据。
• qa-augmented-answers.jsonl：包含增强的答案信息。
• qa-unlabeled.jsonl：包含未标记的 QA 对。

数据集特点

PeerQA 支持三个关键任务：证据检索、不可回答问题分类和答案生成。

数据预处理

数据预处理包括从不同来源下载数据、解压缩、使用 GROBID 提取文本等步骤。

数据集使用

PeerQA 数据集可用于 Dense & Cross-Encoder、BM25 和 ColBERT 等检索模型的实验，以及答案生成和答案可回答性任务的实验。

实验结果

• 检索：在不同的模型和配置下，MRR 和 Recall@10 的结果。
• 答案可回答性：使用不同模型和上下文设置的结果。

获取数据

数据集可以从 HuggingFace Datasets 上获取。

相关链接

• Arxiv
• HuggingFace Datasets
• Apache-2.0 License
• Python Versions

搜集汇总

数据集介绍

构建方式

PeerQA数据集通过收集208篇学术论文中的579对问答对构建而成，这些问答对来源于同行评审过程中的问题以及原作者提供的答案。数据集主要来源于机器学习和自然语言处理领域，同时也包含地球科学和公共卫生等其他科学社区的论文。

特点

PeerQA数据集具有以下特点：1）问题来源于真实的同行评审过程，具有实际应用价值；2）答案由原作者提供，保证了答案的准确性和权威性；3）支持证据检索、不可回答问题分类和答案生成三种任务，适用于多种场景；4）数据集规模适中，便于研究者进行实验和模型训练。

使用方法

使用PeerQA数据集时，首先需要从GitHub或其他提供的数据集链接中下载数据。数据集包含多个文件，如papers.jsonl、qa.jsonl等。papers.jsonl文件包含论文的相关信息，qa.jsonl文件包含问答对数据。用户可以根据自己的需求，使用相应的工具和脚本对数据进行预处理和实验。具体使用方法请参考数据集的README文件和相关的论文文档。

背景与挑战

背景概述

PeerQA是一个真实的科学文档级别的问答数据集，其中的问题来源于同行评审过程中评审者提出的问题，答案则由论文原作者提供。该数据集包含579个问答对，源自208篇学术论文，主要来自机器学习和自然语言处理领域，同时也包含地球科学和公共卫生等其他科学社区的子集。PeerQA支持三个关键任务：证据检索、不可回答问题分类和答案生成。该数据集于2025年发布，由UKPLab团队创建，对相关领域产生了重要影响。

当前挑战

在构建PeerQA数据集的过程中，研究人员面临了多个挑战。首先，证据检索任务中存在着去上下文化的需求，即使简单的去上下文化方法也能在不同架构中持续提高检索性能。其次，在答案生成任务上，PeerQA作为一个具有挑战性的基准，用于长上下文建模，因为论文的平均大小为12k个token。此外，构建过程中还需处理数据预处理、模型选择和性能评估等多方面的挑战。

常用场景

经典使用场景

PeerQA数据集的经典使用场景在于，它为开发实用的问答系统提供了三个关键任务：证据检索、不可回答问题分类和答案生成。该数据集由208篇学术论文中的579个问答对组成，主要来源于机器学习和自然语言处理领域，同时也包含地球科学和公共卫生等科学社区的子集。使用PeerQA，研究人员可以训练和评估问答系统在处理真实世界科学文献时的性能。

实际应用

在实际应用中，PeerQA可以被用于构建科学文献搜索引擎，帮助研究人员快速定位相关文献中的特定信息。此外，它还可以被集成到教育平台中，为学生提供从学术文章中学习和提取信息的机会。

衍生相关工作

基于PeerQA数据集，已经衍生出了一系列相关工作，包括对数据集本身的分析、对基线系统的实验以及针对不同任务和模型的改进。这些工作不仅推动了问答系统的研究，也为科学文献信息检索领域提供了新的视角和方法。