irds/msmarco-passage_trec-dl-hard_fold2

该数据集是`msmarco-passage/trec-dl-hard/fold2`，属于文本检索任务类别。数据集提供了10个查询（queries）和898个相关性评估（qrels）。文档部分需要使用`irds/msmarco-passage`数据集。

This dataset, `msmarco-passage/trec-dl-hard/fold2`, is categorized under text retrieval tasks. It contains 10 queries and 898 relevance judgments (qrels). The associated document corpus requires the use of the `irds/msmarco-passage` dataset.

原始信息汇总

数据集概述

数据集名称

msmarco-passage/trec-dl-hard/fold2

数据来源

• 源数据集：irds/msmarco-passage

任务类别

• 文本检索

数据内容

• queries（查询，即主题）：数量=10
• qrels（相关性评估）：数量=898
• docs（文档）：使用irds/msmarco-passage数据集

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/msmarco-passage_trec-dl-hard_fold2, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/msmarco-passage_trec-dl-hard_fold2, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ...}

引用信息

@article{Mackie2021DlHard, title={How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset}, author={Iain Mackie and Jeffrey Dalton and Andrew Yates}, journal={ArXiv}, year={2021}, volume={abs/2105.07975} } @inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，构建具有挑战性的评测数据集是推动模型性能提升的关键。该数据集源自MS MARCO Passage语料库，并基于TREC DL-HARD任务中的第二折（fold2）进行划分，专门用于评估深度检索模型在复杂查询下的表现。其构建方式聚焦于精选10条高难度查询主题，并配以898条相关性判断（qrels），每个查询对应多个文档的细致标注，从而形成一个小型但极具挑战性的测试集合。这种设计旨在通过有限但精准的样本，对检索系统的鲁棒性进行深入剖析。

特点

该数据集的核心特质在于其“高难度”与“精细化”的有机结合。相较于常规评测集，它选取的查询往往涉及歧义、多义或需要深层语义理解，能够有效区分不同模型的检索能力。同时，qrels提供了多级相关性标注，而非简单的二值判断，使得评估粒度更细，能够捕捉模型在细微相关性差异上的表现。此外，作为TREC DL-HARD的fold2子集，它保持了与官方评测任务的一致性，便于研究者直接对比实验结果，是验证前沿检索算法鲁棒性的理想基准。

使用方法

使用该数据集时，需借助HuggingFace的datasets库进行加载。研究者可分别调用load_dataset函数并指定'subset'参数为'queries'或'qrels'，以获取查询文本及其对应的相关性标注。例如，遍历queries可得到包含query_id和text的字典，而qrels则提供query_id、doc_id及relevance分数。值得注意的是，文档集合需另行引用irds/msmarco-passage数据集。这种模块化设计便于灵活组合，支持从查询解析到相关性评估的完整检索实验流程，尤其适合在深度模型训练后执行严格的离线测试。

背景与挑战

背景概述

信息检索领域的研究长期致力于提升检索系统对复杂查询的响应能力，然而传统基准测试集中于简单查询，难以揭示深度神经检索模型的真实性能。在此背景下，Iain Mackie、Jeffrey Dalton与Andrew Yates于2021年共同创建了DL-HARD数据集，旨在评估检索系统在极具挑战性查询上的表现。该数据集作为MS MARCO Passage的衍生版本，专注于筛选出那些使现有模型性能显著下降的“硬”查询，其核心研究问题在于探索检索模型在极端困难场景下的鲁棒性与泛化能力。通过提供10个精心挑选的高难度查询及898条相关性判断，DL-HARD为领域内研究者提供了评估模型脆弱性的关键工具，推动了检索系统在真实世界复杂需求中的优化进程。

当前挑战

该数据集所解决的领域问题在于，现有检索基准如MS MARCO多覆盖简单查询，无法暴露神经检索模型在复杂语义匹配、歧义消解及细粒度相关性判断上的缺陷。DL-HARD通过聚焦高难度查询，揭示了模型在处理包含隐晦意图、多义表达或稀疏上下文信息时的系统性失效模式。构建过程中面临的主要挑战包括：如何从海量查询中识别并筛选出真正具有区分度的困难样本，而非简单噪声；如何确保人工标注的相关性判断在细微语义差异下保持一致性；以及如何平衡数据集的规模与难度，使10个查询既能代表典型困难场景，又避免过度拟合特定检索模型。这些挑战的攻克使得该数据集成为评估检索系统极限能力的重要标杆。

常用场景

经典使用场景

在信息检索与深度学习交叉的研究领域中，irds/msmarco-passage_trec-dl-hard_fold2数据集作为TREC DL-HARD挑战赛的精选子集，专为评估检索模型在困难查询上的鲁棒性而设计。该数据集包含10条精心挑选的复杂查询及其对应的898条相关性判断，常用于测试和对比各类神经检索模型在非平凡、高难度场景下的表现。经典使用方式包括将其作为基准测试集，衡量基于变换器的密集检索模型、稀疏检索模型以及混合检索方法在应对词汇不匹配、语义歧义等挑战时的检索精度，从而推动检索系统向更贴近真实复杂用户意图的方向演进。

衍生相关工作

该数据集的诞生催生了一系列具有深远影响的衍生研究。Mackie等人提出的DL-HARD框架本身即是对神经检索模型鲁棒性的系统性诊断，后续工作如DRhard、HardNegatives等则借鉴其困难样本划分思想，构建了更具挑战性的训练-测试范式。此外，基于该数据集的评测结果，研究者提出了多项改进方法，包括基于对抗训练的动态负采样策略、融合外部知识的上下文重排序模型，以及针对长尾查询的稀疏-密集混合检索架构。这些工作在SIGIR、CIKM等顶级会议上发表，共同推动了信息检索领域从追求平均性能向关注极端案例的范式转变。

数据集最近研究

最新研究方向

在信息检索领域，深度学习模型的可信评估与鲁棒性测试正成为前沿焦点。irds/msmarco-passage_trec-dl-hard_fold2数据集作为DL-HARD挑战的组成部分，专门聚焦于高难度查询场景，旨在检验检索系统在复杂语义匹配和噪声环境下的表现。该数据集通过精心设计的10个困难查询与898条相关性判断，推动了对抗性检索基准的发展，与近期关于大语言模型（LLM）在密集检索中脆弱性的研究热点紧密相连。其意义在于暴露现有模型在极端案例中的性能瓶颈，为开发更稳健的检索架构提供关键测试床，进而影响下一代搜索引擎的可靠性标准。