irds/mmarco_v2_id_train

--- pretty_name: '`mmarco/v2/id/train`' viewer: false source_datasets: ['irds/mmarco_v2_id'] task_categories: - text-retrieval --- # Dataset Card for `mmarco/v2/id/train` The `mmarco/v2/id/train` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package. For more information about the dataset, see the [documentation](https://ir-datasets.com/mmarco#mmarco/v2/id/train). # Data This dataset provides: - `queries` (i.e., topics); count=808,731 - `qrels`: (relevance assessments); count=532,761 - `docpairs`; count=39,780,811 - For `docs`, use [`irds/mmarco_v2_id`](https://huggingface.co/datasets/irds/mmarco_v2_id) ## Usage ```python from datasets import load_dataset queries = load_dataset('irds/mmarco_v2_id_train', 'queries') for record in queries: record # {'query_id': ..., 'text': ...} qrels = load_dataset('irds/mmarco_v2_id_train', 'qrels') for record in qrels: record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...} docpairs = load_dataset('irds/mmarco_v2_id_train', 'docpairs') for record in docpairs: record # {'query_id': ..., 'doc_id_a': ..., 'doc_id_b': ...} ``` Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the data in 🤗 Dataset format. ## Citation Information ``` @article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} } ```--- 美观名称：`mmarco/v2/id/train` 查看器：禁用 源数据集：['irds/mmarco_v2_id'] 任务类别： - 文本检索 --- # `mmarco/v2/id/train` 数据集卡片 本`mmarco/v2/id/train`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mmarco#mmarco/v2/id/train)。 # 数据 本数据集包含以下内容： - `查询集（queries，即主题集）`：共计808,731条记录 - `相关性标注集（qrels）`：共计532,761条记录 - `文档对集（docpairs）`：共计39,780,811条记录 ——如需获取`文档集（docs）`，请使用 [`irds/mmarco_v2_id`](https://huggingface.co/datasets/irds/mmarco_v2_id) 数据集。 ## 使用方法 python from datasets import load_dataset queries = load_dataset('irds/mmarco_v2_id_train', 'queries') for record in queries: record # {'query_id': ..., 'text': ...} qrels = load_dataset('irds/mmarco_v2_id_train', 'qrels') for record in qrels: record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...} docpairs = load_dataset('irds/mmarco_v2_id_train', 'docpairs') for record in docpairs: record # {'query_id': ..., 'doc_id_a': ..., 'doc_id_b': ...} 请注意，调用`load_dataset`将自动下载该数据集（若数据集未公开，则会提供获取指引），并将数据转换为🤗数据集格式进行本地存储。 ## 引用信息 @article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

原始信息汇总

数据集卡片 mmarco/v2/id/train

数据集概述

mmarco/v2/id/train 数据集由 ir-datasets 包提供。

数据内容

该数据集包含以下内容：

• queries（即主题）；数量=808,731
• qrels（相关性评估）；数量=532,761
• docpairs；数量=39,780,811

对于 docs，请使用 irds/mmarco_v2_id。

使用方法

以下是加载和使用数据集的示例代码：

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_v2_id_train, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_v2_id_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

docpairs = load_dataset(irds/mmarco_v2_id_train, docpairs) for record in docpairs: record # {query_id: ..., doc_id_a: ..., doc_id_b: ...}

调用 load_dataset 将下载数据集（或提供非公开数据集的访问指令），并在 🤗 Dataset 格式中创建数据的副本。

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文档排序任务对跨语言语义理解提出了严峻挑战。irds/mmarco_v2_id_train数据集源自mMARCO v2版本的印尼语子集，由ir-datasets包提供，是MS MARCO Passage Ranking数据集的多语言扩展。该数据集通过自动翻译技术将英文查询与文档映射至印尼语，并保留了原始相关性判断标签，从而构建出大规模的多语言训练语料。其构建过程依托于权威的评测框架，确保了数据在跨语言场景下的可迁移性与一致性。

特点

该数据集具备鲜明的结构特征与规模优势。它包含808,731条查询（queries）、532,761个相关性判断（qrels）以及高达39,780,811个文档对（docpairs），为深度检索模型的训练提供了海量监督信号。尤为重要的是，数据集以三元组形式组织文档对，即每个条目包含一个查询及其对应的正例与负例文档标识，这直接适配于对比学习与排序损失函数的优化范式，显著提升了模型在印尼语检索任务中的区分能力。

使用方法

研究者可通过HuggingFace Datasets库便捷地调用该资源。具体而言，使用load_dataset('irds/mmarco_v2_id_train', 'queries')可获取查询文本及其唯一标识；调用'qrels'子集则能加载查询与文档间的相关性评分；而'docpairs'子集提供了用于训练排序模型的文档对结构。加载后的数据以Record格式呈现，支持迭代处理与批量操作，便于无缝集成至PyTorch或TensorFlow等深度学习框架中开展实验。

背景与挑战

背景概述

多语言信息检索是自然语言处理领域的核心研究议题之一，旨在突破语言壁垒，实现跨语种文本的高效匹配与排序。mMARCO数据集由巴西学者Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo及Rodrigo Nogueira于2021年提出，作为英文MS MARCO Passage Ranking数据集的多语言扩展版本，其核心研究问题在于构建一个覆盖多种语言的通用段落排序基准。该数据集通过自动翻译与人工校验相结合的方式，将MS MARCO的查询与文档映射至包括印尼语在内的多种语言，为低资源语言的信息检索研究提供了关键资源。自发布以来，mMARCO显著推动了多语言稠密检索与跨语言排序模型的发展，成为评估多语言检索系统性能的重要标杆，对全球信息获取的公平性与普及性产生了深远影响。

当前挑战

mMARCO v2印尼语训练集面临的核心挑战源于多语言检索的固有复杂性。首先，在领域问题层面，不同语言间存在显著的语义差异与句法结构异质性，使得模型难以在保持跨语言泛化能力的同时，精确捕捉查询与文档间的相关性，尤其对于印尼语这类形态丰富、语序灵活的语言，传统排序方法常因词形变化与上下文歧义而失效。其次，在数据集构建过程中，自动翻译引入的噪声与伪相关性标注的偏差难以完全消除，导致训练数据中存在语义偏移与不均衡分布。此外，该数据集包含超过3900万个文档对，其规模虽有利于模型训练，却也带来了存储与计算资源的高昂消耗，以及样本选择偏倚对模型鲁棒性的潜在威胁。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO v2 印尼语训练集为多语言段落排序任务提供了基础性支撑。该数据集包含超过八十万条查询、五十余万条相关性标注以及近四千万个文档对，使其成为训练和评估神经检索模型的理想语料库。研究者通常利用其查询与文档对构建负采样策略，并结合预训练语言模型进行微调，从而提升模型在低资源语言场景下的检索性能。

衍生相关工作

围绕该数据集衍生出一系列经典工作，包括多语言密集检索模型mMARCO的原始训练范式，以及基于对比学习的跨语言段落排序方法。后续研究进一步利用其查询集改进多语言句子嵌入的预训练流程，并催生了针对印尼语特定领域的检索增强生成系统。这些工作共同推动了多语言信息检索技术的边界拓展。

数据集最近研究

最新研究方向

跨语言信息检索与多语言语义匹配的前沿探索中，irds/mmarco_v2_id_train数据集作为mMARCO v2的印尼语训练子集，正成为推动低资源语言神经检索模型发展的关键资源。该数据集包含逾80万条查询与近4000万文档对，为研究多语言环境下基于Transformer的深度语义匹配、跨语言知识迁移以及零样本检索技术提供了大规模标注基准。结合当前多语言预训练模型（如XLM-R、mT5）的兴起，该数据集被广泛用于评估模型在印尼语上的排序性能，并探索如何通过对比学习与硬负样本挖掘提升检索鲁棒性。其对标MS MARCO的多语言扩展策略，不仅填补了东南亚语种信息检索研究的空白，也为构建全球化、包容性的搜索引擎奠定了数据基础，在低资源语言NLP应用中具有里程碑意义。