irds/mmarco_v2_id

`mmarco/v2/id`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含8,841,823个文档，这些文档构成了语料库。数据集的使用场景包括`mmarco_v2_id_dev`和`mmarco_v2_id_train`。The `mmarco/v2/id` dataset is provided by the `ir-datasets` package and is primarily used for text retrieval tasks. This dataset contains 8,841,823 documents that form the corpus. The available splits of this dataset include `mmarco_v2_id_dev` and `mmarco_v2_id_train`.

原始信息汇总

数据集概述

数据集名称

mmarco/v2/id

数据来源

由 ir-datasets 包提供。

数据内容

• 文档类型: 文档（即语料库）
• 文档数量: 8,841,823

数据用途

• 用于 mmarco_v2_id_dev
• 用于 mmarco_v2_id_train

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/mmarco_v2_id, docs) for record in docs: record # {doc_id: ..., text: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

信息检索领域的数据集构建往往需要兼顾大规模与多语言覆盖，以应对全球化场景下的文本检索挑战。mMARCO v2 印尼语版本（irds/mmarco_v2_id）正是基于这一需求而生，作为多语言扩展的 MS MARCO 数据集的一部分，由 ir-datasets 包提供。其构建方式依托于对原始英文 MS MARCO 语料库的机器翻译与人工校验，将海量查询-文档对转化为印尼语形式，确保语义一致性。该版本包含约 884 万个文档作为语料库，通过结构化的 doc_id 和 text 字段组织，为后续的检索任务提供了标准化的数据基础。

特点

该数据集的特点体现在其规模与多语言适配性的深度融合上。首先，8.8 百万篇文档的语料库规模确保了模型训练的充分性，覆盖了广泛的印尼语表达与主题。其次，作为 mMARCO 系列的一部分，它继承了 MS MARCO 的真实用户查询场景，使得检索任务更贴近实际应用。数据以统一格式存储，便于与训练集（mmarco_v2_id_train）和验证集（mmarco_v2_id_dev）无缝衔接，支持端到端的检索系统开发。这种设计兼顾了数据多样性与任务针对性，为低资源语言的信息检索研究提供了宝贵资源。

使用方法

使用该数据集时，研究者可通过 Hugging Face 的 datasets 库直接加载，调用 `load_dataset('irds/mmarco_v2_id', 'docs')` 即可获取文档集合，每条记录包含 doc_id 和 text 字段。这一过程会自动下载数据并转换为 🤗 Dataset 格式，简化了预处理流程。结合配套的训练与验证集，用户可构建完整的检索管道，例如基于 BM25 的基线系统或神经检索模型。对于需要自定义拆分的场景，数据集的结构化设计也支持灵活的索引与切片操作，从而高效地开展实验与评估。

背景与挑战

背景概述

在信息检索领域，多语言文本检索能力的提升是打破语言壁垒、实现全球知识共享的关键。mMARCO数据集应运而生，其第二版（v2）由巴西研究人员Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo及Rodrigo Nogueira于2021年共同创建，旨在将广泛使用的英文MS MARCO段落排序数据集扩展至多语言场景。该研究团队来自巴西的学术与工业界，核心贡献在于通过机器翻译技术，为印尼语等多个语种构建了大规模检索语料库。mMARCO v2印尼语子集（irds/mmarco_v2_id）包含逾880万篇文档，为低资源语言的信息检索研究提供了标准化基准。这一数据集不仅推动了跨语言信息检索技术的评估体系发展，更成为后续多语言密集检索模型训练与性能比较的重要基石。

当前挑战

mMARCO v2印尼语数据集面临的核心挑战源于多语言场景的固有复杂性。领域问题方面，低资源语言（如印尼语）的检索系统需应对形态丰富、语序灵活及词汇歧义等语言特性，同时克服机器翻译引入的噪声与不一致性，这对模型泛化能力构成严峻考验。构建过程中，团队需解决大规模语料自动翻译的质量控制难题：如何确保翻译后的查询-文档对保持原始语义对齐，并避免因翻译错误导致的相关性标注失真。此外，数据集仅提供文档语料库，缺失查询与相关性判断，使得下游检索模型的训练与评估需依赖其他子集（如dev/train）配合完成，这增加了实验复现与基准对比的复杂度。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO v2 印度尼西亚语版本数据集为研究者提供了一个宝贵的中等规模语料库，其核心应用在于评估与训练基于深度学习的段落排序模型。该数据集源自英文MS MARCO的机器翻译版本，包含超过880万篇文档，特别适合用于多语言检索系统的零样本迁移学习实验，是检验模型跨语言泛化能力的经典基准。

衍生相关工作

基于该数据集，研究者衍生出一系列经典工作，包括多语言稠密检索模型（如mBERT、XLM-R的微调版本）、跨语言段落重排序方法以及零样本检索框架。相关论文在SIGIR、ECIR等顶级会议上发表，推动了mMARCO系列成为多语言信息检索领域事实上的标准评估集，并催生了诸如mDPR、mColBERT等高效跨语言检索架构。

数据集最近研究

最新研究方向

当前，多语言信息检索领域正迎来蓬勃发展的黄金期，跨语言与低资源语言的文本检索需求日益迫切。作为MS MARCO的多语言扩展版本，mMARCO v2印尼语子集（irds/mmarco_v2_id）聚焦于印尼语这一东南亚关键语种，为神经检索模型在低资源语言上的迁移学习与微调提供了大规模语料支撑。前沿研究围绕零样本跨语言检索、多语言稠密向量索引构建以及基于对比学习的多语言表示对齐展开，该数据集成为评估多语言检索系统在印尼语场景下泛化能力的重要基准。其发布不仅填补了印尼语检索评测的空白，更有力推动了多语言信息获取技术的普惠化发展，对东南亚数字生态建设具有深远意义。