irds/mmarco_id

`mmarco/id`数据集由ir-datasets包提供，包含8,841,823条文档。该数据集用于文本检索任务，并且可以通过Hugging Face的`load_dataset`函数加载。数据集的相关信息可以在ir-datasets的文档中找到。

The `mmarco/id` dataset is provided by the ir-datasets package, containing 8,841,823 documents. This dataset is designed for text retrieval tasks and can be loaded via Hugging Face's `load_dataset` function. Relevant information about the dataset can be found in the documentation of ir-datasets.

原始信息汇总

数据集概述

数据集名称

mmarco/id

数据集提供者

由 ir-datasets 包提供。

数据集内容

• docs (文档，即语料库); 数量为8,841,823

数据集用途

该数据集被用于 mmarco_id_dev 和 mmarco_id_train。

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/mmarco_id, docs) for record in docs: record # {doc_id: ..., text: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言语料库的构建对于推动跨语言文本理解研究至关重要。mMARCO作为MS MARCO的多语言扩展版本，其印尼语子集irds/mmarco_id的构建方式如下：该数据集依托ir-datasets包提供，以MS MARCO英文段落排序数据集为基础，通过机器翻译技术将原始英文语料转化为印尼语文本。最终形成的语料库包含约884万个文档条目，每个文档由唯一的doc_id标识和对应的印尼语文本内容构成，确保了大规模多语言检索任务的基础数据需求。

特点

该数据集的核心特点在于其专注服务于印尼语的文本检索场景，作为多语言检索基准测试的重要组成部分。它提供了纯净的文档语料库，不包含查询或相关性标注，这使得研究者能够灵活地结合配套的训练集（irds/mmarco_id_train）和开发集（irds/mmarco_id_dev）进行实验设计。语料库规模庞大，覆盖近900万篇印尼语文档，为评估检索模型在低资源语言上的泛化能力提供了坚实的评测基础。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库便捷加载。具体操作为调用load_dataset函数并指定数据集名称'irds/mmarco_id'及子集'docs'，返回的每个记录包含'doc_id'和'text'字段。加载过程中，系统会自动下载数据或提供访问指引，并将数据转换为标准的Dataset格式，便于与现有Python生态工具链集成。该数据集通常与对应的训练集和开发集联合使用，以构建完整的检索系统训练与评估流程。

背景与挑战

背景概述

mMARCO是MS MARCO数据集的多语言扩展版本，由巴西研究者Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo和Rodrigo Nogueira于2021年共同创建，旨在解决跨语言文本检索领域缺乏大规模标注语料的问题。该数据集以印度尼西亚语子集mmarco/id为代表，包含约884万篇文档，为低资源语言的信息检索研究提供了宝贵的训练与评估资源。作为多语言检索基准的重要组成，mMARCO推动了神经检索模型在非英语场景下的泛化能力研究，对自然语言处理与信息检索交叉领域产生了显著影响。

当前挑战

mmarco/id数据集面临的核心挑战包括：1）跨语言检索中语言特异性语义鸿沟，印尼语形态丰富且与英语差异显著，现有模型难以直接迁移；2）大规模语料构建时标注噪声与质量控制的平衡，自动翻译或人工标注均可能引入偏差；3）文档与查询间相关性判断的稀疏性，导致模型在低资源场景下训练信号不足；4）多语言检索任务中统一评测标准缺失，难以公平比较不同语言子集的性能，限制了数据集在国际基准中的权威性。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO/id 数据集作为多语种文本检索的基准语料库，承载着印尼语（印度尼西亚语）的文档集合，共计超过880万篇文本片段。该数据集最经典的使用场景是作为印尼语段落排序任务的标准评测平台，研究者通过构建查询与文档的相关性模型，评估检索系统在低资源语言上的表现。其设计延续了MS MARCO的框架，使得跨语言检索算法的性能对比成为可能，尤其在非英语语种的语义匹配与排序优化中占据核心地位。

衍生相关工作

基于mMARCO/id 数据集，衍生了一系列重要研究工作。例如，研究者利用其进行多语言BERT模型的检索微调，验证了跨语言表示在印尼语上的迁移效果；同时，该数据集被用于对比不同稀疏与稠密检索架构在低资源语言上的鲁棒性。此外，mMARCO 系列（涵盖多种语言）的联合训练工作，推动了统一多语言检索框架的构建，为后续如mT5、XLM-R等模型在检索任务中的应用提供了数据支撑。

数据集最近研究

最新研究方向

在跨语言信息检索领域，多语言数据集如mmarco/id正成为推动前沿研究的关键资源。该数据集作为MS MARCO的多语种扩展，聚焦于印尼语文本检索任务，其超过880万条文档的庞大规模为低资源语言的神经检索模型训练提供了坚实基础。当前研究热点集中在利用mmarco/id等数据集优化多语言预训练模型（如mBERT、XLM-R）的跨语言迁移能力，探索零样本和少样本场景下的检索性能提升。此外，结合事件驱动型检索与多语言语义对齐技术，该数据集在印尼语新闻检索、电商问答等实际应用场景中展现出重要价值，尤其对提升东南亚地区信息获取系统的鲁棒性具有里程碑意义。