irds/beir_msmarco_test

`beir/msmarco/test`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含43个查询（`queries`）和9,260个相关性评估（`qrels`）。文档部分（`docs`）需要从`irds/beir_msmarco`数据集中获取。数据集的使用方法包括通过`load_dataset`函数加载查询和相关性评估数据。

The `beir/msmarco/test` dataset, provided by the `ir-datasets` package, is primarily designed for text retrieval tasks. It includes 43 queries and 9,260 relevance assessments (`qrels`). The document subset (`docs`) must be obtained from the `irds/beir_msmarco` dataset. Standard usage of this dataset involves loading the query and relevance assessment data via the `load_dataset` function.

原始信息汇总

数据集卡片 beir/msmarco/test

数据集概述

beir/msmarco/test 数据集由 ir-datasets 包提供。

数据内容

该数据集包含以下内容：

• queries（即主题）；数量为 43
• qrels（相关性评估）；数量为 9,260

对于 docs，请使用 irds/beir_msmarco。

使用方法

以下是加载和使用该数据集的示例代码：

python from datasets import load_dataset

queries = load_dataset(irds/beir_msmarco_test, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/beir_msmarco_test, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

以下是该数据集的引用信息：

@inproceedings{Craswell2019TrecDl, title={Overview of the TREC 2019 deep learning track}, author={Nick Craswell and Bhaskar Mitra and Emine Yilmaz and Daniel Campos and Ellen Voorhees}, booktitle={TREC 2019}, year={2019} } @inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} } @article{Thakur2021Beir, title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models", author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna", journal= "arXiv preprint arXiv:2104.08663", month = "4", year = "2021", url = "https://arxiv.org/abs/2104.08663", }

搜集汇总

数据集介绍

构建方式

在信息检索领域，基准测试数据集对于评估模型性能至关重要。irds/beir_msmarco_test数据集源自BEIR（Benchmarking Information Retrieval）框架，是MS MARCO（Microsoft MAchine Reading COmprehension）数据集在零样本检索评估场景下的测试子集。该数据集由ir-datasets包提供，构建过程延续了MS MARCO的原始设计理念，通过人工标注方式生成查询与文档间的相关性判断。具体而言，测试集包含43条查询（queries）与9,260条相关性评估记录（qrels），每条查询对应多个文档的相关性等级标注，为检索模型提供了细粒度的评估基准。文档集合则复用irds/beir_msmarco主数据集，确保了数据来源的一致性与完整性。

特点

该数据集的核心特点在于其作为零样本检索评估的权威基准，聚焦于测试集而非训练集，专为衡量模型在未见数据上的泛化能力而设计。查询数量虽少（43条），但每个查询均关联大量相关性判断，平均每条查询对应超过215条评估记录，形成了密集且高质量的人工标注体系。这种设计使得数据集在有限查询规模下仍能提供统计显著的评估结果，尤其适合快速验证检索算法的鲁棒性。此外，数据集采用标准化格式，查询包含唯一标识符与文本内容，qrels则明确记录查询-文档对的相关性等级，便于直接接入主流评估框架。

使用方法

使用该数据集时，研究者可借助HuggingFace Datasets库便捷加载。通过load_dataset函数指定数据集名称'irds/beir_msmarco_test'，并选择子集参数（如'queries'或'qrels'），即可获取迭代器格式的数据对象。每条查询记录包含query_id与text字段，qrels记录则包含query_id、doc_id、relevance及iteration字段，可直接用于构建检索系统的输入与评估流程。值得注意的是，文档集合需另行加载irds/beir_msmarco数据集，两者配合使用方能完成完整的检索-评估闭环。该方法简化了数据预处理步骤，使研究者能专注于模型设计与实验分析。

背景与挑战

背景概述

信息检索领域长久以来致力于提升模型在海量文本中精准定位相关文档的能力，而真实世界查询的多样性与复杂性始终是衡量系统鲁棒性的关键标尺。在此背景下，BEIR基准数据集应运而生，其由Nandan Thakur、Nils Reimers等学者于2021年提出，旨在为零样本场景下的检索模型评估提供标准化平台。作为BEIR家族的重要成员，irds/beir_msmarco_test数据集源自MS MARCO（Microsoft MAchine Reading COmprehension）项目，该项目由Payal Bajaj、Daniel Campos、Nick Craswell等研究人员在2016年构建，核心研究问题聚焦于如何利用大规模人工生成的问答数据推动机器阅读理解与检索技术的融合。该测试集包含43个查询主题及9260条相关性判断，其影响力深远——不仅成为TREC深度学习赛道（2019年）的评估基石，更通过BEIR框架的异质性设计，推动了跨领域检索模型泛化能力的系统性研究。

当前挑战

该数据集所解决的领域核心挑战在于，传统检索评测多聚焦于单一领域或同分布场景，模型易陷入过拟合困境，难以应对真实应用中查询意图的多样性与文档分布的偏移。beir_msmarco_test作为零样本基准的一部分，其挑战性体现在：模型需在未见过的查询与文档集合上展现强泛化能力，而非依赖领域内微调。构建过程中亦面临多重技术难题——首先，MS MARCO原始语料包含超百万条人工生成查询，需从中筛选出具有代表性且难度适中的测试子集，确保评估的区分度；其次，相关性标注依赖众包与专家校验，需平衡标注一致性（如9,260条qrels中的细粒度相关性分级）与成本控制；此外，数据集需兼容多类型检索任务（如问答、段落排序），这要求统一的格式设计以支持BEIR的异构评估框架，增加了数据预处理与标准化的复杂度。

常用场景

经典使用场景

在信息检索与自然语言处理交叉领域，该数据集作为BEIR基准测试套件的核心组件，主要被用于评估检索模型在零样本场景下的泛化能力。其经典使用场景聚焦于衡量模型对稀疏查询与海量文档间语义匹配的捕捉效能，尤其是针对MS MARCO语料库中43个测试查询与数千篇文档的相关性排序任务。研究者常通过该数据集验证双编码器、交叉编码器及基于预训练语言模型的检索架构（如DPR、ColBERT）在域外数据上的鲁棒性，从而揭示模型在真实世界检索任务中的迁移潜力。

衍生相关工作

该数据集衍生出一系列里程碑式研究，包括BEIR基准测试论文中提出的零样本检索评估协议，以及后续改进的SPLADE、ANCE等稀疏与稠密混合检索模型。在此基础上，Cohere与HuggingFace联合发布的MTEB嵌入基准进一步扩展了评估维度，而LlamaIndex和LangChain等工具链则将其纳入检索增强生成（RAG）管道的标准测试组件。这些工作共同构建了从模型设计到系统落地的完整学术生态，持续推动着信息检索技术向更高效、更通用的方向演进。

数据集最近研究

最新研究方向

在信息检索领域，BEIR/MSMARCO测试集作为零样本评估的标杆基准，正推动着检索模型泛化能力的深度探索。当前前沿研究聚焦于利用该数据集验证稠密检索与稀疏检索的跨域迁移表现，尤其在TREC深度学习赛道中，其小规模查询集（43条）与丰富相关性标注（9,260条）构成的测试框架，成为衡量模型在未见领域检索鲁棒性的关键试金石。随着大语言模型与检索增强生成技术的爆发，该数据集被广泛用于评估检索器在开放域问答、多语言检索等热点场景中的适配性，其设计理念深刻影响了BEIR等异构基准的构建，为破解检索系统在真实世界中的零样本瓶颈提供了核心验证平台。