irds/mmarco_id_train

`mmarco/id/train`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含808,731条查询（queries）、532,761条相关性评估（qrels）和39,780,811对文档对（docpairs）。文档部分需要使用`irds/mmarco_id`数据集。数据集的使用示例代码展示了如何加载查询、相关性评估和文档对。该数据集的相关研究论文为《mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset》。

The `mmarco/id/train` dataset is provided by the ir-datasets package and is primarily used for text retrieval tasks. It contains 808,731 queries, 532,761 qrels (relevance judgments), and 39,780,811 document pairs (docpairs). For the document corpus, the `irds/mmarco_id` dataset should be utilized. The sample usage code of this dataset demonstrates how to load queries, relevance judgments, and document pairs. The associated research paper for this dataset is *mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset*.

原始信息汇总

数据集概述

数据集名称

mmarco/id/train

数据来源

• 源数据集：irds/mmarco_id

任务类别

• 文本检索

数据内容

• queries（查询）：808,731条
• qrels（相关性评估）：532,761条
• docpairs（文档对）：39,780,811对

使用方法

python from datasets import load_dataset

加载查询数据

queries = load_dataset(irds/mmarco_id_train, queries) for record in queries: record # {query_id: ..., text: ...}

加载相关性评估数据

qrels = load_dataset(irds/mmarco_id_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

加载文档对数据

docpairs = load_dataset(irds/mmarco_id_train, docpairs) for record in docpairs: record # {query_id: ..., doc_id_a: ..., doc_id_b: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索数据集对于评估跨语言搜索系统的性能至关重要。mMARCO作为MS MARCO的多语言扩展版本，其印尼语训练集irds/mmarco_id_train的构建依托于ir-datasets框架，通过对原始mMARCO印尼语子集进行结构化整理而成。该数据集包含三组核心数据：查询集（queries）共计808,731条，每条记录包含唯一查询标识符与文本内容；相关性判断集（qrels）涵盖532,761条标注，详细记录查询与文档间的关联程度及迭代信息；文档对集（docpairs）则包含39,780,811个训练样本，每个样本由查询标识符、正例文档标识符和负例文档标识符构成，为排序模型的训练提供丰富的对比学习素材。

使用方法

使用该数据集时，可通过HuggingFace的datasets库进行高效加载。研究人员需首先安装datasets库，随后使用load_dataset函数指定数据集标识符'irds/mmarco_id_train'，并通过第二个参数选择所需的数据子集。例如，加载查询集时调用load_dataset('irds/mmarco_id_train', 'queries')，即可获得包含query_id与text字段的迭代器；加载qrels或docpairs时同理。值得注意的是，文档集合需从关联数据集irds/mmarco_id另行加载。此设计实现了训练数据与检索文档的模块化管理，便于在统一框架下开展端到端的检索实验。

背景与挑战

背景概述

在跨语言信息检索领域，多语言查询与文档的语义匹配一直是核心挑战。mMARCO数据集由巴西研究人员Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo和Rodrigo Nogueira于2021年创建，旨在将经典的MS MARCO英文段落排序数据集扩展至多语言场景。该数据集通过自动翻译技术构建了包含印尼语在内的多种语言版本，其中irds/mmarco_id_train专注于印尼语子集，提供了超过80万条查询和约53万条相关性标注，为低资源语言的神经检索模型训练提供了关键基准。mMARCO的出现填补了非英语检索评估资源的空白，推动了多语言密集检索和跨语言排序模型的研究进展，成为信息检索社区验证多语言模型泛化能力的重要测试平台。

当前挑战

该数据集面临的首要挑战在于领域问题的复杂性：多语言检索需克服语言间词汇、句法和语义的显著差异，尤其印尼语作为形态丰富的语言，其词形变化和语序灵活性增加了查询与文档匹配的难度。此外，构建过程中存在显著挑战：自动翻译可能引入噪声，导致翻译后的查询和文档偏离原始语义，影响标注可靠性；大规模正负样本对（约3980万文档对）的生成需平衡效率与准确性，而人工标注成本高昂使得质量验证受限。同时，数据集覆盖的领域相对单一（以网络段落为主），难以评估模型在专业领域（如法律、医学）的泛化能力，且印尼语资源稀缺进一步加剧了预训练模型适配的困难。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO印尼语训练集（irds/mmarco_id_train）作为多语言版本MS MARCO的关键组成部分，为研究者提供了大规模印尼语查询-文档相关性标注数据。该数据集包含超过80万条查询、53万条相关性判断及近4000万条文档对，其经典使用场景在于训练和评估面向印尼语的神经检索模型，尤其是基于深度学习的排序算法。通过利用该数据集的查询与文档对，研究者能够构建端到端的密集检索系统，并借助其丰富的docpairs结构实现对比学习训练，从而显著提升模型在低资源语言上的检索精度。

解决学术问题

该数据集有效解决了非英语语言信息检索研究中标注数据匮乏的瓶颈问题。在学术层面，它使研究者得以深入探索跨语言迁移学习的有效性，验证多语言预训练模型（如mBERT、XLM-R）在印尼语检索任务中的泛化能力。通过提供统一的训练与评估基准，mMARCO印尼语语料推动了低资源语言神经检索范式的标准化，揭示了语言特异性特征与跨语言共享表征之间的深层交互机制，为构建真正意义上的通用多语言检索框架奠定了实证基础。

实际应用

在实际应用层面，该数据集直接服务于印尼语搜索引擎的优化与智能问答系统的构建。基于其训练的检索模型可被部署于电商平台的产品搜索、政府信息门户的文档检索以及社交媒体内容过滤等场景。特别是在印尼这一拥有超过2.7亿人口的数字市场中，精准的印尼语检索能力能够显著提升用户获取信息的效率，降低跨语言沟通成本。此外，该数据集还支撑了印尼语语音助手、法律文书检索等垂直领域应用的研发，展现了从学术研究到产业落地的完整转化路径。

数据集最近研究

最新研究方向

当前，多语言信息检索领域正迎来蓬勃发展，mMARCO作为MS MARCO的多语言扩展版本，为跨语言文本检索研究提供了关键资源。mMARCO印尼语训练集（irds/mmarco_id_train）聚焦于低资源语言场景下的检索任务，其包含超过80万条查询和近4000万文档对，支撑着前沿研究方向如零样本跨语言迁移学习、多语言稠密检索模型的训练与评估。该数据集与神经检索架构的演进紧密相连，尤其是结合预训练语言模型（如XLM-R、mBERT）的检索器，显著提升了非英语语言的检索精度。此外，mMARCO的发布推动了多语言问答系统、对话式检索等热点应用的发展，为构建真正全球化的信息获取基础设施奠定了数据基础，其影响深远，不仅填补了低资源语言检索评测的空白，还促进了多语言自然语言处理技术的公平性与包容性。