Qrels

MSMARCO Passage数据集包含了查询ID、查询文本、正例文档ID列表、反例文档ID列表、答案（可为空）和数据来源。数据集分为三个部分：msmarco_passage.trec_dl_2019、msmarco_passage.trec_dl_2020和msmarco_passage.dev.small，分别用于不同的训练和开发场景。

原始信息汇总

数据集概述

基本信息

• 数据集名称: Qrels
• 存储位置: https://huggingface.co/datasets/DylanJHJ/Qrels
• 下载大小: 44,873,643 字节
• 数据集大小: 73,271,627 字节

数据结构

特征字段

• query_id：字符串类型
• query_text：字符串类型
• positive_document_ids：字符串列表
• negative_document_ids：字符串列表
• answer：空值类型
• source：字符串类型

数据划分

训练集划分

1. msmarco_passage.trec_dl_2019

   • 样本数量：43
   • 数据大小：103,803 字节

2. msmarco_passage.trec_dl_2020

   • 样本数量：54
   • 数据大小：127,929 字节

3. msmarco_passage.dev.small

   • 样本数量：6,980
   • 数据大小：73,039,895 字节

文件配置

• 默认配置名称: default
• 数据文件路径:
  • msmarco_passage.trec_dl_2019: data/msmarco_passage.trec_dl_2019-*
  • msmarco_passage.trec_dl_2020: data/msmarco_passage.trec_dl_2020-*
  • msmarco_passage.dev.small: data/msmarco_passage.dev.small-*

搜集汇总

数据集介绍

构建方式

在信息检索研究领域，Qrels数据集通过系统化标注流程构建而成。该数据集基于MS MARCO段落检索基准，采用人工标注方式对查询与文档的相关性进行精确判定。构建过程中，专业标注人员根据查询意图对候选文档进行多维度评估，严格区分正例文档与负例文档，确保相关性标注的准确性与一致性。数据集涵盖TREC深度学习赛道2019与2020年度的官方评测数据，以及开发集的小规模样本，形成了层次分明的评估体系。

特点

该数据集展现出鲜明的结构化特征，每个样本包含查询标识符、查询文本、正例文档列表和负例文档列表等核心字段。数据划分科学合理，包含三个独立子集：TREC DL 2019与2020的官方评测集分别提供43和54个精标注查询，而MS MARCO开发集小样本则包含6980个查询实例。这种多维度划分既满足了模型开发阶段的训练需求，又为系统性能的严谨评估提供了可靠基准。数据规模适中，总容量约73MB，便于研究人员快速部署实验。

使用方法

研究人员可依据具体实验需求选择相应数据子集进行模型训练与评估。在信息检索系统开发过程中，该数据集主要用于相关性排序模型的性能验证，通过对比模型输出的文档排序与标注的相关性标准，计算NDCG等经典评估指标。使用时应特别注意数据分割的规范性，训练阶段可充分利用开发集的丰富样本，而最终性能评测则需严格遵循TREC官方设定的测试集划分原则，确保实验结果的可比性与学术价值。

背景与挑战

背景概述

信息检索领域长期致力于提升大规模文本数据的查询相关性评估精度，Qrels数据集作为微软机器阅读理解基准的关键组成部分，诞生于2016至2020年间由微软研究院主导的多轮TREC深度学习赛道。该数据集通过结构化标注查询语句与相关文档的映射关系，构建了涵盖数万条人工标注样本的评估体系，其核心价值在于为神经检索模型提供了标准化相关性判断依据，显著推动了稠密向量检索与跨模态语义匹配技术的发展。

当前挑战

在解决文档检索相关性评估问题时，Qrels需应对语义鸿沟与标注一致性双重挑战：其一是查询意图与文档表达的复杂语义对齐，特别是对多义词与长尾查询的精准匹配；其二是构建过程中面临的大规模标注质量控制，需通过多轮专家校验确保正负样本的判别可靠性。这些挑战直接影响了检索模型在零样本场景下的泛化能力与鲁棒性验证。

常用场景

经典使用场景

在信息检索研究领域，Qrels数据集作为相关性判断的基准工具，主要应用于评估检索系统的排序质量。该数据集通过提供标准化的查询-文档相关性标注，使研究人员能够精确衡量不同检索算法在TREC评测任务中的表现。其精心构建的正负样本对为机器学习模型提供了可靠的训练数据，特别在MSMARCO等大规模文本检索任务中发挥着核心作用。

解决学术问题

该数据集有效解决了信息检索领域缺乏统一评估标准的难题，为相关性排序模型提供了可复现的实验基础。通过标准化的标注体系，研究者能够客观比较不同算法的性能差异，推动了神经检索模型、稠密向量检索等前沿技术的发展。其构建的权威基准持续推动着检索精度与效率的平衡研究，对学术界的模型创新产生了深远影响。

衍生相关工作

基于Qrels数据集衍生的经典工作包括微软发布的BM25改进算法、BERT系列跨编码器模型在MSMARCO任务上的突破性应用。这些研究不仅刷新了TREC-DL任务的性能记录，还催生了ColBERT、DPR等新型检索架构。后续工作进一步扩展了多语言检索、跨模态检索等方向，持续推动着信息检索技术的前沿发展。