irds/msmarco-document_trec-dl-hard_fold4

--- pretty_name: '`msmarco-document/trec-dl-hard/fold4`' viewer: false source_datasets: ['irds/msmarco-document'] task_categories: - text-retrieval --- # Dataset Card for `msmarco-document/trec-dl-hard/fold4` The `msmarco-document/trec-dl-hard/fold4` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package. For more information about the dataset, see the [documentation](https://ir-datasets.com/msmarco-document#msmarco-document/trec-dl-hard/fold4). # Data This dataset provides: - `queries` (i.e., topics); count=10 - `qrels`: (relevance assessments); count=1,054 - For `docs`, use [`irds/msmarco-document`](https://huggingface.co/datasets/irds/msmarco-document) ## Usage ```python from datasets import load_dataset queries = load_dataset('irds/msmarco-document_trec-dl-hard_fold4', 'queries') for record in queries: record # {'query_id': ..., 'text': ...} qrels = load_dataset('irds/msmarco-document_trec-dl-hard_fold4', 'qrels') for record in qrels: record # {'query_id': ..., 'doc_id': ..., 'relevance': ...} ``` Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the data in 🤗 Dataset format. ## Citation Information ``` @article{Mackie2021DlHard, title={How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset}, author={Iain Mackie and Jeffrey Dalton and Andrew Yates}, journal={ArXiv}, year={2021}, volume={abs/2105.07975} } @inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} } ```--- 展示名：`msmarco-document/trec-dl-hard/fold4` 查看器：禁用 源数据集：['irds/msmarco-document'] 任务类别： - 文本检索（text-retrieval） --- # 数据集卡片：`msmarco-document/trec-dl-hard/fold4` 本数据集由[ir-datasets](https://ir-datasets.com/)工具包发布。如需了解该数据集的详细信息，请查阅[官方文档](https://ir-datasets.com/msmarco-document#msmarco-document/trec-dl-hard/fold4)。 # 数据内容 本数据集包含以下内容： - `queries`（即查询主题）：共计10条 - `qrels`（相关性标注数据）：共计1054条 - 如需获取文档（`docs`），请使用 [`irds/msmarco-document`](https://huggingface.co/datasets/irds/msmarco-document) ## 使用方法 python from datasets import load_dataset queries = load_dataset('irds/msmarco-document_trec-dl-hard_fold4', 'queries') for record in queries: record # {'query_id': ..., 'text': ...} qrels = load_dataset('irds/msmarco-document_trec-dl-hard_fold4', 'qrels') for record in qrels: record # {'query_id': ..., 'doc_id': ..., 'relevance': ...} 请注意，调用`load_dataset`将下载该数据集（若数据集未公开，则会提供获取指引），并以🤗 Dataset格式生成一份数据副本。 ## 引用信息 @article{Mackie2021DlHard, title={How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset}, author={Iain Mackie and Jeffrey Dalton and Andrew Yates}, journal={ArXiv}, year={2021}, volume={abs/2105.07975} } @inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} }

原始信息汇总

数据集概述

数据集名称

msmarco-document/trec-dl-hard/fold4

数据集来源

• 来源：ir-datasets
• 原始数据集：irds/msmarco-document

数据内容

• queries：查询主题，数量为10个。
• qrels：相关性评估，数量为1,054个。
• docs：文档数据，使用irds/msmarco-document数据集。

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/msmarco-document_trec-dl-hard_fold4, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/msmarco-document_trec-dl-hard_fold4, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ...}

引用信息

@article{Mackie2021DlHard, title={How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset}, author={Iain Mackie and Jeffrey Dalton and Andrew Yates}, journal={ArXiv}, year={2021}, volume={abs/2105.07975} } @inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，深度学习模型对困难查询的鲁棒性评估一直是研究热点。该数据集源自MS MARCO文档语料库，并基于TREC DL-HARD任务构建，专门聚焦于具有挑战性的检索场景。具体而言，它通过将原始查询与文档集合进行严格筛选与标注，形成了包含10个高难度查询主题和1054条相关性判断记录的第四折子集。这些查询和相关性评估（qrels）由人工精心标注，确保了评估标准的可靠性与一致性。文档内容则直接复用irds/msmarco-document数据集，实现了对大规模文档集的精准聚焦。

特点

该数据集的核心特点在于其针对“困难”查询的专精设计。相较于常规检索评测集，它刻意选取了那些对现有深度学习模型构成显著挑战的查询实例，从而能够更有效地揭示模型在处理歧义、复杂语义或稀疏信息时的性能瓶颈。此外，其规模虽小却精悍，10个查询与千余条相关性判断足以构成一个高区分度的测试基准，便于研究者快速迭代与验证模型在极端条件下的表现。这种设计使其成为评估检索系统鲁棒性与泛化能力的理想工具。

使用方法

调用该数据集时，研究者可通过HuggingFace的datasets库便捷加载。具体而言，使用load_dataset函数并指定数据集标识符'irds/msmarco-document_trec-dl-hard_fold4'，即可分别获取'queries'和'qrels'两个子集。加载后的查询记录包含query_id与text字段，而相关性判断则包含query_id、doc_id及relevance评分。文档本身需从irds/msmarco-document数据集另行获取，通过组合查询与文档标识符即可完成检索实验的构建。整个过程无需额外预处理，极大简化了实验流程。

背景与挑战

背景概述

在信息检索领域，深度学习技术的飞速发展催生了众多面向文本匹配与排序的评估基准，其中MS MARCO（Microsoft MAchine Reading COmprehension）数据集由微软研究人员于2016年提出，旨在推动机器阅读理解与文档检索的协同进步。作为其衍生版本，TREC Deep Learning (DL) Track系列评测任务进一步聚焦于深度检索模型的鲁棒性评估，而DL-HARD子集则由Mackie、Dalton与Yates等学者于2021年构建，专门针对现有检索系统难以处理的复杂查询场景。该数据集通过精心筛选高难度查询与细粒度相关性判断，系统性地挑战了传统检索范式的边界，成为衡量模型在语义歧义、信息稀疏等极端条件下表现的关键标尺，对推动检索系统从实验室环境走向真实应用具有里程碑意义。

当前挑战

该数据集所解决的领域核心挑战在于，当前主流检索模型在标准评测集上表现优异，却难以应对真实世界中查询意图模糊、文档相关性边界模糊等复杂场景。DL-HARD通过整合10个经专家标注的高难度查询与1054条细粒度相关性判断，构建了一个对语义理解与推理能力要求严苛的测试集，迫使模型超越表层词汇匹配，转向深层语义对齐。在构建过程中，研究人员面临两大难点：其一，需从海量MS MARCO文档中识别并筛选出那些现有模型普遍失败但人类可解的查询，确保样本的难度均衡性与代表性；其二，需通过多轮人工标注与一致性校验，在长文档的稀疏相关片段中精确标注二元或分级相关性，避免噪声标注对评估的干扰。这些挑战使得该数据集成为检验下一代检索模型鲁棒性与泛化能力的试金石。

常用场景

经典使用场景

在信息检索领域，irds/msmarco-document_trec-dl-hard_fold4 数据集作为 TREC DL-HARD 挑战赛的第四折划分，常用于评估深度检索模型在复杂查询上的鲁棒性。该数据集包含 10 条精心设计的困难查询及其对应的 1054 条相关性判断，聚焦于那些对传统检索系统构成挑战的语义理解任务。研究者通常将其作为基准测试集，用以衡量模型在低资源、高难度场景下的检索精度，特别是在需要深层语义匹配与多粒度相关性推理的情境中。

实际应用

在实际应用中，该数据集模拟了搜索引擎、智能问答系统及企业知识库中用户提出的复杂自然语言查询场景。例如，当用户输入模糊或包含专业术语的检索请求时，传统方法往往返回不相关的结果。利用该数据集训练的模型能够更精准地解析用户深层意图，显著提升检索系统在医疗、法律、科研文献等垂直领域的查询响应质量。其影响体现在优化了人机交互体验，减少了用户反复调整查询的时间成本，并增强了信息获取的效率与准确性。

衍生相关工作

该数据集衍生了一系列经典工作，包括 Mackie 等人提出的 DL-HARD 评估框架，其论文《How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset》首次系统性地定义了困难查询的标注标准。后续研究如基于预训练语言模型的深度检索方法（如 ColBERT、ANCE）在此数据集上进行了针对性改进，探索了查询重写与文档重排序策略。此外，该数据集还催生了针对困难样本的对抗训练技术，推动了检索模型在噪声环境下的鲁棒性研究，为 TREC 评测系列注入了新的挑战维度。