irds/mmarco_v2_dt

`mmarco/v2/dt`数据集由`ir-datasets`包提供，主要包含`docs`（文档，即语料库），文档数量为8,841,823。该数据集用于`mmarco_v2_dt_dev`和`mmarco_v2_dt_train`数据集。

`mmarco/v2/dt` 数据集由 `ir-datasets` 工具包提供，其主要组成部分为文档（docs），即语料库，总文档数量达8,841,823条。该数据集可用于 `mmarco_v2_dt_dev` 与 `mmarco_v2_dt_train` 数据集。

原始信息汇总

数据集概述

数据集名称

mmarco/v2/dt

数据集提供者

由 ir-datasets 包提供。

数据集内容

• docs (文档，即语料库); 数量为 8,841,823

数据集用途

用于 mmarco_v2_dt_dev 和 mmarco_v2_dt_train。

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/mmarco_v2_dt, docs) for record in docs: record # {doc_id: ..., text: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言段落排序数据集的需求日益增长，以支持跨语言搜索引擎的发展。mMARCO v2 数据集正是基于英文MS MARCO语料库，通过机器翻译技术扩展至德语等多语言版本而构建的。具体而言，该数据集利用先进的神经机器翻译模型，将原始MS MARCO中的查询与文档精准翻译为德语，从而保留了原始语料库的结构与规模，确保了跨语言任务的可比性与一致性。最终形成的语料库包含约884万篇文档，为德语段落检索任务提供了坚实的基准资源。

特点

该数据集的核心特征在于其大规模与多语言适配性。文档数量高达884万余篇，覆盖了丰富的德语自然语言表达，充分满足了深度检索模型对海量训练数据的需求。作为mMARCO项目的一部分，它继承了MS MARCO真实用户查询的复杂性，同时通过机器翻译保持了语义的完整性，使得模型能够学习到跨语言的语义匹配模式。此外，数据集遵循ir-datasets标准格式，便于与现有检索框架无缝集成，显著降低了研究者在多语言信息检索实验中的预处理成本。

使用方法

使用该数据集时，研究人员可通过Hugging Face的datasets库便捷加载。具体操作中，调用`load_dataset('irds/mmarco_v2_dt', 'docs')`即可获取文档语料库，每条记录包含唯一的文档标识符与文本内容。该数据集通常与配套的开发集和训练集联合使用，以构建完整的检索实验流程。用户可基于返回的Dataset对象进行索引构建、查询生成与相关性判断等后续处理。值得注意的是，数据加载过程将自动下载并缓存，确保实验的可复现性与高效性。

背景与挑战

背景概述

在信息检索领域，多语言文本检索任务日益受到关注，尤其是随着全球化进程加速，用户对跨语言信息获取的需求显著增长。mMARCO v2/dt数据集由Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo和Rodrigo Nogueira等研究人员于2021年创建，旨在为多语言段落排序研究提供大规模语料资源。该数据集基于MS MARCO Passage Ranking数据集进行多语言扩展，覆盖包括德语在内的多种语言，其核心研究问题在于如何构建高质量的多语言检索基准，以评估和推动跨语言信息检索模型的发展。作为mMARCO系列的重要组成部分，该数据集提供了约884万个文档，为多语言检索任务提供了丰富的训练与评估基础，对自然语言处理和信息检索领域产生了深远影响，尤其促进了多语言预训练模型在检索任务上的应用与优化。

当前挑战

mMARCO v2/dt数据集面临的核心挑战源于多语言文本检索的固有复杂性。首先，在领域问题层面，不同语言之间的语义对齐和跨语言查询-文档匹配是主要难点，尤其是在缺乏大规模平行语料的情况下，模型需有效捕捉语言间的细微差异与共性。其次，构建过程中，从原始MS MARCO语料进行多语言翻译和标注时，需确保翻译质量与语料一致性，避免因机器翻译误差导致的噪声数据。此外，数据集规模庞大（超过880万文档），如何高效索引和检索，同时维持低延迟与高精度，对现有检索系统构成技术挑战。最后，多语言场景下语料的不平衡分布（如某些语言资源匮乏）可能加剧模型偏差，影响检索结果的公平性与鲁棒性。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO v2 德语子集（irds/mmarco_v2_dt）作为多语种段落排序基准数据集，其经典使用场景聚焦于评估和训练面向德语的自然语言处理模型。该数据集包含约884万篇德语文档，研究者可借助其大规模语料库，构建基于深度学习的检索系统，通过对比查询与文档的相关性，验证模型在非英语环境下的泛化能力。例如，利用其提供的文档集合与检索任务，可对预训练语言模型（如XLM-R、mBERT）进行微调，以优化德语段落排序性能，从而推动多语种信息检索技术的标准化发展。

解决学术问题

该数据集有效解决了跨语言信息检索中缺乏大规模、高质量德语标注语料的学术困境。传统研究多依赖英语基准如MS MARCO，但模型在低资源语言上的迁移效果常因语言特异性而衰减。mMARCO v2/dt通过提供统一的多语种段落排序框架，使研究者能够系统评估跨语言语义匹配算法的鲁棒性，并探究语言间知识迁移的瓶颈。其意义在于为多语种自然语言处理提供了可复现的评估平台，加速了非英语检索模型的迭代优化，进而推动了全球化信息获取的公平性研究。

衍生相关工作

基于mMARCO v2/dt衍生出一系列经典工作，如Bonifacio等人提出的mMARCO多语种检索框架，其核心贡献在于将MS MARCO扩展至涵盖德语的13种语言，并验证了多语种段落排序的可行性。后续研究进一步探索了该数据集与稠密检索模型（如ANCE、ColBERT）的结合，通过对比不同语言版本下的检索性能，揭示了跨语言表示对齐的关键挑战。此外，该数据集被用于训练多语种问答系统（如mT5），推动了零样本跨语言检索的进展，成为多语种信息处理领域的重要评估基石。