UKPLab/dapr

DAPR（Document-Aware Passage Retrieval）数据集是一个用于文档感知段落检索的基准数据集，旨在要求检索系统在给定查询时返回文档中相关的段落，并强调利用文档级别的上下文信息。数据集包含五个主要数据集：MS MARCO、Natural Questions、MIRACL、Genomics和ConditionalQA，以及一个额外的NQ-hard子集。每个数据集包含查询、段落/文档和相关性判断。数据集的设计目的是鼓励检索系统在检索相关段落时考虑文档的上下文信息，例如共指解析、主题理解和多跳推理。

原始信息汇总

数据集概述

数据集配置

数据集包含多个配置，每个配置对应不同的数据文件和分割：

• ConditionalQA-corpus:

  • 分割: test
  • 路径: ConditionalQA/corpus/*

• ConditionalQA-corpus_coref:

  • 分割: test
  • 路径: ConditionalQA/corpus_coref/*

• ConditionalQA-docs:

  • 分割: test
  • 路径: ConditionalQA/docs/*

• ConditionalQA-keyphrases:

  • 分割: test
  • 路径: ConditionalQA/keyphrases/*

• ConditionalQA-qrels:

  • 分割: train, dev, test
  • 路径: ConditionalQA/qrels/{train,dev,test}.parquet

• ConditionalQA-queries:

  • 分割: train, dev, test
  • 路径: ConditionalQA/queries/{train,dev,test}.parquet

• Genomics-corpus:

  • 分割: test
  • 路径: Genomics/corpus/*

• Genomics-corpus_coref:

  • 分割: test
  • 路径: Genomics/corpus_coref/*

• Genomics-docs:

  • 分割: test
  • 路径: Genomics/docs/*

• Genomics-keyphrases:

  • 分割: test
  • 路径: Genomics/keyphrases/*

• Genomics-qrels:

  • 分割: test
  • 路径: Genomics/qrels/test.parquet

• Genomics-queries:

  • 分割: test
  • 路径: Genomics/queries/test.parquet

• MIRACL-corpus:

  • 分割: test
  • 路径: MIRACL/corpus/*

• MIRACL-corpus_coref:

  • 分割: test
  • 路径: MIRACL/corpus_coref/*

• MIRACL-docs:

  • 分割: test
  • 路径: MIRACL/docs/*

• MIRACL-keyphrases:

  • 分割: test
  • 路径: MIRACL/keyphrases/*

• MIRACL-qrels:

  • 分割: train, dev, test
  • 路径: MIRACL/qrels/{train,dev,test}.parquet

• MIRACL-queries:

  • 分割: train, dev, test
  • 路径: MIRACL/queries/{train,dev,test}.parquet

• MSMARCO-corpus:

  • 分割: test
  • 路径: MSMARCO/corpus/*

• MSMARCO-corpus_coref:

  • 分割: test
  • 路径: MSMARCO/corpus_coref/*

• MSMARCO-docs:

  • 分割: test
  • 路径: MSMARCO/docs/*

• MSMARCO-keyphrases:

  • 分割: test
  • 路径: MSMARCO/keyphrases/*

• MSMARCO-qrels:

  • 分割: train, dev, test
  • 路径: MSMARCO/qrels/{train,dev,test}.parquet

• MSMARCO-queries:

  • 分割: train, dev, test
  • 路径: MSMARCO/queries/{train,dev,test}.parquet

• NaturalQuestions-corpus:

  • 分割: test
  • 路径: NaturalQuestions/corpus/*

• NaturalQuestions-corpus_coref:

  • 分割: test
  • 路径: NaturalQuestions/corpus_coref/*

• NaturalQuestions-docs:

  • 分割: test
  • 路径: NaturalQuestions/docs/*

• NaturalQuestions-keyphrases:

  • 分割: test
  • 路径: NaturalQuestions/keyphrases/*

• NaturalQuestions-qrels:

  • 分割: dev, test
  • 路径: NaturalQuestions/qrels/{dev,test}.parquet

• NaturalQuestions-queries:

  • 分割: dev, test
  • 路径: NaturalQuestions/queries/{dev,test}.parquet

• nq-hard:

  • 分割: test
  • 路径: NaturalQuestions/nq-hard/*

数据集信息

特征

• doc_id: 文档ID，类型为字符串。
• title: 文档标题，类型为字符串。
• passage_ids: 段落ID列表，类型为字符串序列。
• passages: 段落文本列表，类型为字符串序列。
• is_candidate: 是否为候选段落，类型为布尔序列。

分割

• test:
  • 字节数: 13421074669
  • 样本数: 5758285

数据集大小

• 下载大小: 7956252663 字节
• 数据集大小: 13421074669 字节

搜集汇总

数据集介绍

构建方式

在信息检索领域，传统的段落检索往往忽略文档级上下文信息，导致对指代消解、主题推断等复杂查询的支持不足。DAPR数据集正是为应对这一挑战而构建，它整合了MS MARCO、Natural Questions、MIRACL、Genomics及ConditionalQA五个广泛使用的检索基准，并额外引入NQ-hard子集。其构建方式遵循文档感知的段落检索范式，每个数据条目包含文档标识、标题、段落文本及其在文档中的位置编号，并通过`is_candidate`字段标记候选段落。对于MS MARCO，仅保留黄金标注段落并保留其上下文；Natural Questions因时间戳冲突未提供训练集，但测试与开发集完备。所有数据以`corpus`、`queries`、`qrels`三类配置组织，分别存储段落、查询及相关性标注，便于标准化加载与评估。

使用方法

使用DAPR数据集时，可通过HuggingFace Datasets库便捷加载。例如，调用`load_dataset("UKPLab/dapr", "ConditionalQA-corpus", split="test")`即可获取段落数据，支持流式模式以节省内存。查询与相关性标注分别通过对应`-queries`与`-qrels`配置加载，其中qrels包含`query_id`、`corpus_id`及`score`字段。NQ-hard的qrels还额外提供`query`、`text`、`categories`和`url`，便于深入分析。研究者可基于此构建检索系统，如使用DRAGON+编码器进行相似度计算，并通过`pytrec_eval`评估NDCG@10等指标。推荐使用`datasets>=2.15.0`版本以确保兼容性。

背景与挑战

背景概述

在信息检索领域，传统的段落检索方法往往孤立地处理查询与段落间的相关性，忽略了段落所属文档的整体语境信息。为突破这一局限，德国达姆施塔特工业大学UKP实验室的Kexin Wang、Nils Reimers与Iryna Gurevych于2023年提出了DAPR（Document-Aware Passage Retrieval）基准数据集。该数据集旨在推动检索系统在返回相关段落时，能够主动利用文档级别的上下文线索，例如指代消解、主题连贯性及多跳推理等。DAPR整合了MS MARCO、Natural Questions、MIRACL、Genomics及ConditionalQA五个广泛使用的数据集，并额外提供了NQ-hard子集，专门筛选出依赖文档上下文理解才能正确检索的困难查询。该基准的提出，为评估和提升段落检索模型的上下文感知能力树立了重要标杆。

当前挑战

DAPR数据集所解决的核心挑战在于，现有检索模型常因忽略文档语境而导致关键信息遗漏，例如当查询提及“the venue”而相关段落仅以指代形式出现时，模型需借助文档级指代消解才能准确定位。此外，数据集的构建过程面临多重困难：首先，不同源数据集的文档结构差异显著，如MS MARCO缺乏黄金段落分割，需人工保留判断段落并标记候选；其次，Natural Questions因时间戳重复问题无法直接提供训练分割，需额外处理；最后，跨领域语料（如生物医学的Genomics）的术语复杂性与查询稀疏性，进一步增加了标注与评估的难度。这些挑战共同构成了对检索系统文档感知能力的严苛测试。

常用场景

经典使用场景

在信息检索与自然语言处理交叉领域，DAPR（Document-Aware Passage Retrieval）数据集为文档感知型段落检索任务提供了标准化的基准测试平台。该数据集整合了MS MARCO、Natural Questions、MIRACL、Genomics和ConditionalQA五大经典语料库，并特别引入NQ-hard子集以聚焦高难度查询。其核心设计迫使检索系统超越孤立段落匹配，必须利用文档级上下文——例如指代消解、主题连贯性和多跳推理——来精准定位相关段落。研究者可借助统一的查询-段落-文档三元组结构，评估模型在给定大规模文档集合中返回语义相关段落的能力，从而推动检索技术从浅层语义匹配向深层文档理解演进。

解决学术问题

该数据集直面传统段落检索研究中一个关键瓶颈：多数模型将段落视为独立实体，忽视了文档结构对语义理解的支撑作用。DAPR通过构建跨文档的上下文依赖关系，系统性地揭示了现有检索系统在指代消解、缩略词识别和主题连贯性等场景下的性能缺陷。例如，当查询提及“该场馆”而相关段落仅隐晦指代时，模型需回溯文档标题或前文内容方能正确匹配。这一设计为学术界提供了量化评估文档级语义理解能力的统一标尺，促使研究者重新审视检索模型的设计范式，并催生了融合段落与文档双粒度编码的混合架构，显著提升了复杂查询的召回精度。

实际应用

在实际产业应用中，DAPR所倡导的文档感知检索理念具有广泛适用性。在知识库问答系统中，它赋能系统从长篇技术文档或维基百科条目中精准摘取分散的答案片段，例如医疗领域需结合病历上下文诊断症状。在法律文书检索中，模型可依据判例文档的章节脉络定位关键法条，而非仅依赖关键词匹配。此外，该基准还直接服务于搜索引擎的段落摘要生成、学术论文的跨章节引文推荐，以及企业级知识管理中的上下文敏感信息抽取——通过强制模型理解文档整体逻辑，显著降低因语境缺失导致的误判率。

数据集最近研究

最新研究方向

在密集检索与开放域问答的交汇地带，DAPR数据集正引领一场关于篇章级上下文感知检索的前沿探索。其核心价值在于突破了传统段落检索仅关注局部文本匹配的局限，强调模型必须借助文档级语境——如指代消解、主题连贯性与跨段落推理——才能精准定位答案所在段落。这一研究方向紧密关联着当前大语言模型在长文档理解与复杂推理任务中的关键挑战，例如在NQ-hard子集中，查询常依赖代词或省略表达，迫使检索系统超越片段相似度，深入文档全局结构。DAPR通过整合MS MARCO、Natural Questions、MIRACL等多源数据集，构建了包含数十亿段落的大规模评测基准，为评估模型在现实场景中的文档感知能力提供了标准化平台。该工作不仅推动了检索系统从“表面匹配”向“深层语义理解”的范式转变，也为后续研究如结合核心链上下文编码或多跳证据聚合奠定了重要基础。