irds/mmarco_v2_pt_dev

`mmarco/v2/pt/dev`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含101,093个查询（queries）和59,273个相关性评估（qrels）。文档（docs）需要从另一个数据集`irds/mmarco_v2_pt`中获取。使用示例展示了如何通过Hugging Face的datasets库加载数据。

The `mmarco/v2/pt/dev` dataset is provided by the ir-datasets package and is primarily utilized for text retrieval tasks. It contains 101,093 queries and 59,273 relevance judgments (qrels). The document (docs) corpus needs to be obtained from another dataset `irds/mmarco_v2_pt`. Usage examples demonstrate how to load the dataset via Hugging Face's datasets library.

原始信息汇总

数据集概述

数据集名称

mmarco/v2/pt/dev

来源

数据集来源于ir-datasets包，原始数据集为irds/mmarco_v2_pt。

数据内容

• queries: 查询（即主题），数量为101,093。
• qrels: 相关性评估，数量为59,273。
• docs: 文档数据，需从irds/mmarco_v2_pt获取。

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_v2_pt_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_v2_pt_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索数据集对于推动跨语言搜索技术的发展至关重要。mMARCO v2 葡萄牙语开发集源自广泛使用的 MS MARCO 段落排序数据集的多语言版本，通过专业翻译与对齐技术构建而成。该数据集由 ir-datasets 包提供，具体包含 101,093 条查询（即主题）与 59,273 个相关性评估（qrels），其文档部分则整合自 irds/mmarco_v2_pt 数据集。这种设计确保了查询、相关性判断与文档之间的有机衔接，为多语言检索任务提供了标准化的评估基础。

特点

该数据集的核心特点在于其专注于葡萄牙语检索场景，同时继承了 MS MARCO 的规模化优势。查询数量高达十万余条，覆盖了广泛的信息需求类型，而相关性评估则提供了精细的 relevance 分级标注，支持对检索模型进行多维度性能评测。此外，数据集中包含的 iteration 字段进一步增强了实验的可复现性，使得研究者能够精确追踪每次检索迭代中的效果变化。这些特性共同构成了一个严谨且富有挑战性的跨语言检索基准。

使用方法

借助 Hugging Face Datasets 库，使用者可便捷地加载该数据集的查询与相关性评估部分。具体而言，通过 load_dataset('irds/mmarco_v2_pt_dev', 'queries') 即可获取包含 query_id 与 text 字段的查询集合；而调用 load_dataset('irds/mmarco_v2_pt_dev', 'qrels') 则能获得包含 query_id、doc_id、relevance 及 iteration 字段的相关性判断数据。加载过程中，系统会自动下载数据集并以 Hugging Face Dataset 格式进行本地化存储，便于后续的模型训练与评估流水线集成。

背景与挑战

背景概述

在跨语言信息检索领域，多语言数据集的建设是推动非英语检索技术发展的关键基石。mMARCO数据集由Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo及Rodrigo Nogueira等研究人员于2021年创建，旨在将经典的MS MARCO段落排序数据集扩展至多语言场景。其中，mmarco/v2/pt/dev作为葡萄牙语的开发集，包含101,093条查询和59,273条相关性评估，为评估葡萄牙语检索模型提供了标准化测试平台。该数据集依托ir-datasets框架，显著降低了多语言检索研究的入门门槛，促进了面向低资源语言的检索系统研发，对提升信息检索领域的语言包容性具有深远影响。

当前挑战

mmarco/v2/pt/dev面临的核心挑战涵盖领域问题与构建过程两个方面。在领域问题上，该数据集主要解决跨语言段落检索中的语义匹配难题，尤其是葡萄牙语与英语之间存在的词汇鸿沟与句法差异，导致模型需要具备鲁棒的跨语言表征能力。构建过程中，挑战在于将原始MS MARCO的英文查询与段落通过机器翻译生成葡萄牙语版本，翻译质量的不一致可能引入噪声，影响相关性判断的准确性。此外，开发集仅提供查询和qrels，而文档部分需依赖独立的irds/mmarco_v2_pt数据集，这增加了数据整合的复杂性，对研究者的数据管理能力提出了更高要求。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO v2 葡萄牙语开发集（irds/mmarco_v2_pt_dev）被广泛用作多语种段落排序任务的基准测试平台。该数据集包含十万余条查询及其对应的相关性判断，为研究者提供了评估多语言检索模型性能的标准语料。其经典使用场景在于训练和验证基于深度学习的跨语言文本匹配模型，通过将葡萄牙语查询与多语种文档库中的段落进行相关性排序，探索语言无关的语义表征学习范式。

实际应用

在实际应用中，该数据集支撑着面向葡萄牙语用户的搜索引擎优化与问答系统开发。企业可基于此数据训练跨语言检索模型，实现将葡萄牙语查询精准映射至多语种知识库中的相关段落。其在跨境电商客服、多语言文档管理系统及跨境法律文书检索等场景中展现出显著价值，有效降低了语言壁垒带来的信息获取成本。

衍生相关工作

该数据集衍生出一系列经典研究，包括基于对比学习的跨语言段落排序模型（如mMARCO-CL）、融合知识蒸馏的多语言检索框架以及面向低资源语言的零样本检索方法。其中，Bonifacio等人提出的mMARCO基线模型成为后续研究的参照标杆，而在此基础上发展的多语言稠密检索器（mDPR）进一步拓展了该数据集的理论边界，催生了多个跨语言信息检索国际评测任务。