irds/mmarco_de_dev

`mmarco/de/dev`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含101,093个查询（即主题）和59,273个相关性评估（qrels）。文档部分需要使用`irds/mmarco_de`数据集。用户可以通过Python代码加载数据集，并获取查询和相关性评估的记录。该数据集的相关研究论文为《mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset》。

The `mmarco/de/dev` dataset, provided by the `ir-datasets` package, is primarily intended for text retrieval tasks. This dataset includes 101,093 queries (i.e., topics) and 59,273 relevance judgments (qrels). The document corpus requires the use of the `irds/mmarco_de` dataset. Users can load the dataset and obtain records of queries and relevance judgments via Python code. The associated research paper for this dataset is *mMARCO: A Multilingual Version of MS MARCO Passage Ranking Dataset*.

原始信息汇总

数据集概述

数据集名称

mmarco/de/dev

数据来源

• 源数据集：irds/mmarco_de

任务类别

• 文本检索

数据内容

• queries（查询）：数量为101,093
• qrels（相关性评估）：数量为59,273
• docs（文档）：通过irds/mmarco_de数据集获取

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_de_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_de_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言文本检索数据集的构建对于推动跨语言搜索技术的发展至关重要。mMARCO作为MS MARCO的多语言扩展版本，其德语开发子集irds/mmarco_de_dev通过系统化的流程构建而成。该数据集源自irds/mmarco_de源数据集，专注于提供查询与相关性判断对，共计包含101,093条查询和59,273条相关性评估记录。构建过程中，研究人员将原始MS MARCO数据集中的英文查询和文档通过机器翻译技术转化为德语，并保留了原始的相关性标注，从而确保了数据集的规模与质量。查询和文档内容均以文本形式存储，便于后续检索任务的直接使用。

特点

该数据集的核心特点在于其专注于德语文本检索场景的评估需求，为多语言信息检索研究提供了标准化的测试平台。数据集包含两个核心组件：queries提供了查询标识符与对应文本，qrels则记录了查询与文档之间的相关性等级，支持多级相关性判断。与完整的mMARCO德语文档集相比，该开发子集特别设计了独立的查询和评估数据，便于研究者在不涉及大量文档处理的情况下快速验证模型性能。数据格式简洁统一，每个记录均采用键值对结构，降低了数据预处理的门槛。

使用方法

使用irds/mmarco_de_dev数据集时，研究者可通过HuggingFace的datasets库便捷加载。具体而言，调用load_dataset('irds/mmarco_de_dev', 'queries')可获取查询数据，每个记录包含query_id和text字段；调用load_dataset('irds/mmarco_de_dev', 'qrels')则可获取相关性判断数据，包含query_id、doc_id、relevance和iteration字段。值得注意的是，文档数据需从关联的irds/mmarco_de数据集中加载。加载过程会自动下载数据并转换为🤗 Dataset格式，为后续的检索模型训练与评估提供标准接口。

背景与挑战

背景概述

跨语言信息检索是自然语言处理领域的重要研究方向，旨在打破语言壁垒，使用户能够以母语查询并获取多语言文档中的相关信息。mMARCO数据集由Luiz Henrique Bonifacio等人于2021年提出，作为MS MARCO的多语言扩展版本，其德语开发子集（mmarco/de/dev）由巴西研究机构构建，核心研究问题聚焦于评估多语言检索模型在德语场景下的性能。该数据集包含约10.1万条查询和5.9万条相关性判断，为德语文本检索任务提供了标准化的基准测试平台，显著推动了多语言检索系统的研究进展，尤其对低资源语言的检索能力提升具有重要参考价值。

当前挑战

该数据集面临的核心挑战包括：1）语言特异性难题，德语复杂的形态变化（如复合词、格变化）增加了查询与文档匹配的难度，传统检索模型易受词形干扰；2）跨语言迁移效果不稳定，现有模型在德语上的表现远不如英语，且缺乏针对德语特性的深度优化方法；3）构建过程中，mMARCO需将原始英文MS MARCO的查询和文档通过机器翻译生成德语版本，翻译质量偏差（如专有名词误译、语境丢失）导致噪声数据累积，影响标注可靠性；4）大规模查询与文档的配对效率低，人工评估成本高昂，自动评估指标（如MRR）在跨语言场景下的信度有待验证。

常用场景

经典使用场景

在跨语言信息检索的学术疆域中，mMARCO德语开发集（irds/mmarco_de_dev）作为多语言文本检索领域的标杆性资源，其经典使用场景聚焦于评估与优化德语段落排序模型的性能。研究者利用其包含的十万余条查询与近六万条相关性标注，在受控实验环境下验证神经检索架构对德语复杂形态与句法结构的理解能力。该数据集通过提供统一的查询-文档相关性判断标准，成为对比不同排序模型（如基于Transformer的交叉编码器与双编码器）在德语场景中泛化表现的关键基准，尤其适用于探究多语言预训练模型在低资源语言检索任务中的迁移学习效果。

实际应用

在工业级搜索引擎与对话系统的实际部署中，该数据集助力德语区域的高精度文档检索应用落地。技术团队利用其相关性标注训练面向德语用户的问答系统与知识库检索模块，例如在电商平台中优化德语产品描述的语义匹配，或为德语法律文档库构建高效的段落级检索管线。该数据集还支持企业级搜索系统的多语言兼容性测试，通过模拟真实德语查询模式，帮助开发者识别跨语言检索中的召回偏差与排序偏差，从而迭代出更符合德语用户信息行为习惯的搜索体验。

衍生相关工作

围绕该数据集衍生出一系列里程碑式研究，包括基于mMARCO的多语言段落排序基线模型（如mT5与XLM-R的跨语言微调策略），以及针对德语检索增强生成（RAG）系统的专项优化工作。后续工作借鉴其标注体系，扩展出面向德语长文档检索的MMARCO-DE-Long变体，并催生了融合德语词汇语义与句法特征的查询扩展方法。此外，该数据集作为MS MARCO多语言版本的核心组件，已成为评估多语言密集检索模型（如ColBERT的多语言适配版）的标准测试床，持续推动着跨语言信息检索领域从单语范式向多语生态的范式转变。