irds/mmarco_pt

`mmarco/pt`数据集由ir-datasets包提供，包含8,841,823个文档（即语料库）。该数据集被多个其他数据集使用，如`mmarco_pt_dev`、`mmarco_pt_dev_small`等。用户可以通过Python代码加载该数据集，并获取每个文档的ID和文本内容。

The `mmarco/pt` dataset, provided by the ir-datasets package, consists of a corpus of 8,841,823 documents. This dataset has been utilized by multiple other datasets such as `mmarco_pt_dev`, `mmarco_pt_dev_small`, and more. Users can load this dataset via Python code to retrieve the unique ID and textual content of each document.

原始信息汇总

数据集概述

数据集名称

mmarco/pt

数据集来源

由 ir-datasets 包提供。

数据集内容

• docs (文档，即语料库); 数量=8,841,823

数据集用途

被以下数据集使用：

• mmarco_pt_dev
• mmarco_pt_dev_small
• mmarco_pt_dev_v1.1
• mmarco_pt_train
• mmarco_pt_train_v1.1

使用方法

python from datasets import load_dataset

docs = load_dataset(irds/mmarco_pt, docs) for record in docs: record # {doc_id: ..., text: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索数据集的构建对于推动跨语言信息获取研究至关重要。mMARCO作为MS MARCO的多语言版本，其葡萄牙语子集mmarco_pt的构建依托于ir-datasets框架。该数据集通过将原始英文MS MARCO语料库中的文档和查询进行机器翻译，生成了包含8,841,823篇葡萄牙语文档的语料库。每个文档均以doc_id和text字段的形式组织，保留了原始数据集的层级结构，同时确保了语言转换后的语义连贯性与检索任务的适配性。

特点

mmarco_pt数据集的核心特点在于其大规模与多语言兼容性。近九百万篇葡萄牙语文档构成了广泛的语料覆盖，为训练和评估葡萄牙语文本检索模型提供了坚实基础。数据集与ir-datasets生态深度集成，支持标准化的文档加载接口，便于研究者直接使用。此外，该数据集衍生出dev、train等多个子集，覆盖了从模型训练到性能验证的完整流程，其版本迭代（如v1.1）进一步优化了数据质量，适配不同实验场景的需求。

使用方法

使用mmarco_pt数据集时，研究者可通过HuggingFace的datasets库便捷加载。调用load_dataset('irds/mmarco_pt', 'docs')即可获取文档语料库，每条记录包含doc_id和text两个字段，分别对应唯一标识符与文本内容。该数据集通常与对应的查询集和相关性判断集（如mmarco_pt_dev）配合使用，以构建完整的检索实验。加载后的数据可直接用于训练神经检索模型或评估检索系统的性能，其格式与PyTorch、Transformers等框架无缝衔接，降低了多语言检索研究的实施门槛。

背景与挑战

背景概述

在信息检索领域，多语言文本检索能力的需求日益增长，尤其是对于非英语语言资源的开发与评估。mMARCO数据集由Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo及Rodrigo Nogueira于2021年创建，旨在扩展经典的MS MARCO英文段落排序数据集至多语言版本。其中，mmarco_pt作为葡萄牙语子集，其核心研究问题在于为低资源语言提供大规模、高质量的检索基准，以推动跨语言信息检索技术的发展。该数据集包含约884万篇文档，依托ir-datasets框架发布，为后续的葡萄牙语检索模型训练与评估奠定了重要基础，显著提升了相关领域的多语言研究影响力。

当前挑战

mmarco_pt数据集面临多重挑战。首先，在领域问题层面，其解决的葡萄牙语段落检索任务需应对语言特异性带来的语义理解难题，如词形变化丰富、句法结构差异等，这使得模型在跨语言场景下的泛化性能成为关键瓶颈。其次，构建过程中，原始MS MARCO数据需经过大规模机器翻译与人工校验，但自动翻译可能引入噪声与不准确表达，而人工成本高昂且难以覆盖全部样本，导致部分查询与文档的语义对齐存在偏差。此外，数据规模庞大（近900万文档）对存储与处理效率提出要求，同时确保数据版权合规性亦构成实际挑战。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO葡萄牙语子集（mmarco/pt）作为MS MARCO的多语言延伸，为葡萄牙语段落排序任务奠定了坚实基础。该数据集包含超过880万篇文档，研究者可将其用于训练和评估基于深度学习的检索模型，如双编码器或交叉编码器架构。经典使用方式涵盖从零样本迁移学习到多语言微调，尤其适用于探索低资源语言下的稠密检索技术。通过构建查询与相关段落之间的语义匹配，该数据集推动了葡萄牙语信息检索系统从传统词袋模型向神经排序范式的转变。

解决学术问题

该数据集的核心学术贡献在于破解了非英语语言检索资源匮乏的困境。此前，多数神经检索模型依赖英文语料（如MS MARCO），导致葡萄牙语等语言的检索效果因语言偏差而显著下降。mmarco/pt通过提供大规模人工标注的查询-文档相关性对，使研究者能够系统性地评估跨语言泛化能力、领域适应性问题以及多语言预训练模型（如mBERT、XLM-R）的检索性能。其意义在于揭示了多语言检索中的语言特异性与共享表征的辩证关系，为构建真正通用的信息获取系统提供了实证基础。

衍生相关工作

围绕mmarco/pt衍生出一系列标杆性工作。Bonifacio等人提出的mMARCO基线模型展示了多语言稠密检索的可行性，后续研究如利用对比学习优化跨语言嵌入空间、提出面向葡萄牙语的稀疏检索方法（如SPLADE的多语言变体），以及探索基于知识蒸馏的轻量级排序模型。该数据集还催生了mMARCO多语言排行榜，成为评估跨语言检索系统鲁棒性的重要基准，并推动了XLM-R等预训练模型在检索任务中的微调策略创新。