irds/mmarco_zh_train

`mmarco/zh/train`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含808,731个查询（`queries`）、532,761个相关性评估（`qrels`）和39,780,811个文档对（`docpairs`）。用户可以通过Python代码加载这些数据，并按照提供的格式进行处理。The `mmarco/zh/train` dataset, provided by the `ir-datasets` package, is primarily intended for text retrieval tasks. This dataset contains 808,731 queries, 532,761 relevance judgments (qrels), and 39,780,811 document pairs (docpairs). Users can load these data via Python code and process them in accordance with the provided format.

原始信息汇总

数据集概述

数据集名称

mmarco/zh/train

数据来源

• 源数据集：irds/mmarco_zh

任务类别

• 文本检索

数据内容

• queries（查询）：808,731条
• qrels（相关性评估）：532,761条
• docpairs（文档对）：39,780,811对

使用方法

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_zh_train, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_zh_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

docpairs = load_dataset(irds/mmarco_zh_train, docpairs) for record in docpairs: record # {query_id: ..., doc_id_a: ..., doc_id_b: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索数据集的构建对于推动跨语言信息获取技术的发展至关重要。irds/mmarco_zh_train数据集是基于MS MARCO Passage Ranking Dataset的多语言版本mMARCO，专为中文文本检索任务而设计。该数据集通过自动化翻译与人工校验相结合的方式，将英文原版MS MARCO中的查询与文档转化为高质量的中文语料，并保留了原始的相关性判断信息（qrels）以及用于训练排序模型的正负样本对（docpairs），从而构建出一个大规模、高质量的中文检索训练集。

特点

该数据集具备显著的结构化特征与规模优势。其包含808,731条查询（queries）、532,761个相关性判断（qrels）以及高达39,780,811个文档对（docpairs），为深度检索模型的训练提供了海量样本。数据集严格按照ir-datasets标准组织，查询与文档分离存储，便于灵活调用。此外，查询文本与文档内容均以纯文本形式呈现，无需额外预处理，极大降低了使用门槛。其丰富的正负样本对设计尤为突出，为pairwise或listwise排序学习算法提供了直接支持。

使用方法

研究者可通过HuggingFace Datasets库便捷地加载该数据集。具体而言，使用load_dataset('irds/mmarco_zh_train', 'queries')可获取查询集合，每条记录包含query_id与text字段；加载'qrels'子集可获得包含query_id、doc_id、relevance及iteration字段的相关性标注；而'docpairs'子集则提供query_id、doc_id_a与doc_id_b字段，用于构建训练样本对。数据集首次加载时将自动下载并缓存为Datasets格式，后续调用可直接从本地读取，无需重复下载。

背景与挑战

背景概述

在信息检索领域，多语言文本检索能力的提升是近年来的研究热点，其中大规模标注数据集的构建成为推动技术发展的关键基石。mMARCO数据集由巴西研究人员Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo和Rodrigo Nogueira于2021年提出，旨在将英文MS MARCO段落排序数据集扩展至多种语言，其中中文子集mmarco_zh_train是专为中文检索任务设计的训练集。该数据集由ir-datasets包提供，包含超过80万条查询、53万余条相关性标注以及近4000万条文档对，为中文段落检索模型的训练与评估提供了丰富的资源。其发布显著推动了多语言信息检索领域的研究，尤其为低资源语言的检索系统开发注入了新动力，成为跨语言文本匹配与排序任务的重要基准。

当前挑战

mmarco_zh_train数据集面临的挑战首先体现在领域问题的复杂性上：中文文本检索需处理分词歧义、同义词泛化及语义隐含关系，而现有模型在跨语言场景下常因语言特性差异而难以迁移。其次，构建过程中遇到显著困难：原始MS MARCO语料的英文标注需通过机器翻译自动转换为中文，翻译质量不均可能导致查询与文档间的语义偏差；此外，相关性标注（qrels）仅覆盖53万余条，相较于近4000万文档对，稀疏性使得模型训练易陷入过拟合或泛化不足。同时，语料来源以网络文本为主，存在噪声、非正式表达及领域分布不均等问题，进一步加剧了检索系统在真实场景中的鲁棒性挑战。

常用场景

经典使用场景

在跨语言信息检索领域，mMarco中文训练集作为MS MARCO的多语言扩展版本，其经典使用场景聚焦于中文段落排序任务的模型训练与评估。研究者通常利用该数据集中的80余万条查询与对应的相关性标注，构建基于深度语义匹配的检索模型。通过其中的docpairs数据（近4000万对正负样本），可高效训练基于对比学习的双编码器架构，如DPR或ColBERT，从而提升中文语境下查询与文档间语义相似度的建模精度。

衍生相关工作

围绕该数据集衍生了多项经典工作，包括多语言稠密检索模型mBERT的微调方案、基于知识蒸馏的跨语言检索加速方法，以及针对中文分词语料适配的检索增强生成架构。其中，Bonifacio等人提出的mMARCO基线模型与后续的mColBERT-V2多语言排序模型，均以该数据集为训练基石。此外，该数据集还催生了面向中文的零样本检索评估协议，成为多语言信息检索领域公认的基准测试平台。

数据集最近研究

最新研究方向

随着多语言信息检索需求的激增，mMARCO中文子集（irds/mmarco_zh_train）成为跨语言文本检索研究的前沿阵地。该数据集基于MS MARCO通道排序任务构建，包含80余万条中文查询与近4000万对文档-查询对，为神经检索模型在低资源语言上的迁移学习提供了关键基准。近期研究聚焦于利用该数据集训练多语言密集检索器（如mBERT、XLM-R），探索跨语言查询与文档的语义对齐；同时，结合对比学习与生成式检索范式，研究在中文场景下如何缓解标注稀疏问题。该数据集还推动了中文开放域问答与对话式检索的进展，其大规模训练数据为评估模型在真实中文网络环境中的泛化能力奠定了坚实基础，对多语言信息获取系统的公平性与鲁棒性具有深远影响。