DAPR

DAPR数据集是由达姆施塔特工业大学的无处不在的知识处理实验室创建，旨在评估文档感知段落检索任务。该数据集包含从多个异构领域收集的5个子数据集，包括MS MARCO, Natural Questions, MIRACL, Genomics和ConditionalQA。这些数据集用于评估和比较不同的检索系统，特别是在需要文档上下文理解的复杂查询场景中的表现。DAPR数据集的创建过程涉及对原始数据的预处理和格式统一，以确保评估的一致性和准确性。该数据集主要应用于信息检索领域，特别是针对长文档中的相关段落检索，旨在解决现有检索系统在处理长文档时面临的挑战。

The DAPR dataset was developed by the Lab for Ubiquitous Knowledge Processing (UKP Lab) at Technische Universität Darmstadt, with the primary goal of evaluating document-aware passage retrieval tasks. It consists of five sub-datasets collected from multiple heterogeneous domains, including MS MARCO, Natural Questions, MIRACL, Genomics, and ConditionalQA. These sub-datasets are used to evaluate and compare the performance of different retrieval systems, particularly in complex query scenarios that require contextual understanding of documents. The creation process of the DAPR dataset involves preprocessing the raw data and unifying their formats to ensure consistency and accuracy in evaluations. This dataset is mainly applied in the field of information retrieval, especially for relevant passage retrieval from long documents, aiming to address the challenges faced by existing retrieval systems when processing lengthy documents.

搜集汇总

数据集介绍

构建方式

DAPR基准数据集旨在评估检索系统在长文档中定位相关段落的能力，其构建源于对现有最先进段落检索器的错误分析。研究发现，超过半数的错误源于缺乏文档上下文理解，如指代消解、主题推断等。为此，研究者从异构领域精选了五个数据集——MS MARCO、Natural Questions、MIRACL、Genomics和ConditionalQA，并统一其格式。其中，Natural Questions中的困难子集（NQ-hard）被单独标注，按指代消解、主话题、多跳推理和缩略词四类分类，以精准衡量模型对文档上下文的依赖程度。

特点

该数据集的核心特点在于其聚焦于文档感知的段落检索任务，突破了传统短文本检索的局限。它涵盖了百科、生物医学、政府政策等多个领域，确保评估的鲁棒性。NQ-hard子集尤为独特，其查询-段落对需依赖文档上下文才能正确匹配，例如通过指代消解或主话题推断。此外，数据集的评判标准包括二元和三级相关性，采用nDCG@10和recall@100作为评估指标，并采用零样本跨域评估范式，以模拟真实场景中的检索挑战。

使用方法

使用DAPR时，研究者需将查询、候选段落及其所属文档作为输入，系统需返回与查询最相关的段落排名。实验采用零样本设置，模型可在MS MARCO训练集上训练，然后在所有五个数据集上测试。为引入文档上下文，可尝试混合检索（如BM25与神经检索的排名融合）或上下文感知段落表示（如预置文档标题或进行指代消解）。评估时，需注意困难查询（如NQ-hard）与简单查询的性能差异，以全面衡量模型对文档上下文的理解能力。

背景与挑战

背景概述

在信息检索领域，从海量文档中精准定位与用户查询相关的段落始终是核心任务之一。然而，现有神经检索模型受限于短文本输入（如512个token），难以有效处理长文档场景，例如维基百科文章或科研论文。为弥补这一缺陷，Kexin Wang、Nils Reimers与Iryna Gurevych于2023年提出了文档感知段落检索（DAPR）基准数据集。该研究由德国达姆施塔特工业大学通用知识处理实验室主导，聚焦于检索系统在理解文档上下文（如指代消解、主题推断）后返回相关段落的能力。DAPR整合了来自通用搜索、维基百科、生物医学、政府政策等异构领域的五个子数据集，系统评估了现有最优检索模型在零样本跨域场景下的不足。其发布为长文本段落检索研究提供了标准化评测平台，推动了检索系统从短文本匹配向上下文感知的范式转变。

当前挑战

DAPR数据集面临的核心挑战在于解决长文档中段落检索的上下文缺失问题。首先，现有神经检索模型（如DRAGON+、ColBERTv2）在处理需要文档级指代消解或多跳推理的复杂查询时表现乏力——错误分析显示53.5%的失败案例源于缺乏文档上下文理解。其次，混合检索策略（如BM25与神经模型的排名融合）虽在简单查询上表现优异，但在需文档上下文解析的硬查询上完全失效（nDCG@10低于3.5%）。此外，构建过程中面临跨领域数据格式统一、长文档段落边界模糊（如MS MARCO缺失黄金段落分割）、以及生物医学等专业领域需要高技能标注者等挑战。最后，上下文增强方法（如预置标题）虽能提升硬查询性能，但在基因组学等专业领域因引入无关术语反而造成性能下降，凸显了上下文注入策略的领域敏感性。

常用场景

经典使用场景

在信息检索领域，DAPR基准数据集专为文档感知段落检索任务而设计，其核心应用场景聚焦于从海量长文档（如维基百科文章、科研论文）中精准定位与查询相关的段落。该数据集通过构建包含跨域异构语料（如MS MARCO、Natural Questions、MIRACL、Genomics和ConditionalQA）的评测框架，模拟真实世界中用户需要在长篇文本中寻找特定信息的情形，例如在生物医学文献中检索基因相互作用机制，或在政府政策文档中定位特定条款。

解决学术问题

DAPR数据集深刻揭示了现有神经检索模型在面对需依赖文档上下文（如指代消解、主题推断、多跳推理）的查询时的显著短板——实验表明53.5%的检索错误源于缺失文档语境。该基准的建立系统性地推动了学术界对长文本段落检索中上下文感知能力的研究，通过量化评估混合检索（BM25与神经模型融合）与上下文增强表示（如标题预置、核心词注入）等策略的优劣，为发展能理解文档全局语义的检索架构提供了关键评测基石。

衍生相关工作

DAPR数据集催生了若干重要衍生工作：其提出的NQ-hard子集（包含指代消解、主主题、多跳推理等困难类别）促进了针对特定上下文理解能力的细粒度评测方法发展；基于该基准，后续研究探索了分层检索架构（如先文档后段落的两阶段策略）与动态上下文融合技术；此外，数据集所揭示的标题预置在生物医学领域（如Genomics）的性能退化现象，引发了关于文档摘要信息噪声对检索干扰的深入探讨。