irds/mmarco_de_train

---
pretty_name: '`mmarco/de/train`'
viewer: false
source_datasets: ['irds/mmarco_de']
task_categories:
- text-retrieval
---

# Dataset Card for `mmarco/de/train`

The `mmarco/de/train` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/mmarco#mmarco/de/train).

# Data

This dataset provides:
- `queries` (i.e., topics); count=808,731
- `qrels`: (relevance assessments); count=532,761
- `docpairs`; count=39,780,811

- For `docs`, use [`irds/mmarco_de`](https://huggingface.co/datasets/irds/mmarco_de)

## Usage

```python
from datasets import load_dataset

queries = load_dataset('irds/mmarco_de_train', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mmarco_de_train', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

docpairs = load_dataset('irds/mmarco_de_train', 'docpairs')
for record in docpairs:
record # {'query_id': ..., 'doc_id_a': ..., 'doc_id_b': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@article{Bonifacio2021MMarco,
title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset},
author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira},
year={2021},
journal={arXiv:2108.13897}
}
```

pretty_name: '`mmarco/de/train`'
viewer: 不可用
source_datasets: ['irds/mmarco_de']
task_categories:
- 文本检索

# `mmarco/de/train` 数据集卡片

本`mmarco/de/train`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mmarco#mmarco/de/train)。

# 数据集内容

本数据集包含以下内容：
- `queries`（即查询主题）：共计808,731条
- `qrels`（相关性标注）：共计532,761条
- `docpairs`：共计39,780,811条
如需获取`docs`数据，请使用 [`irds/mmarco_de`](https://huggingface.co/datasets/irds/mmarco_de) 数据集。

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/mmarco_de_train', 'queries')
for record in queries:
record # 格式为 {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mmarco_de_train', 'qrels')
for record in qrels:
record # 格式为 {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

docpairs = load_dataset('irds/mmarco_de_train', 'docpairs')
for record in docpairs:
record # 格式为 {'query_id': ..., 'doc_id_a': ..., 'doc_id_b': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供获取指引），并将数据以🤗 数据集格式加载至本地。

## 引用信息

@article{Bonifacio2021MMarco,
title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset},
author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira},
year={2021},
journal={arXiv:2108.13897}
}

原始信息汇总

数据集概述

数据集名称

mmarco/de/train

数据提供方

ir-datasets

数据集内容

• queries: 查询（即主题），数量为808,731
• qrels: 相关性评估，数量为532,761
• docpairs: 文档对，数量为39,780,811

数据集使用

• 对于docs数据，使用irds/mmarco_de

数据集加载示例

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_de_train, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_de_train, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

docpairs = load_dataset(irds/mmarco_de_train, docpairs) for record in docpairs: record # {query_id: ..., doc_id_a: ..., doc_id_b: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言检索数据集是推动跨语言理解技术发展的关键资源。该数据集源自mMARCO项目，是MS MARCO段落排序数据集的多语言版本在德语上的子集。其构建依托于ir-datasets框架，通过系统化的方式整合了查询、相关性判断与文档对三类核心数据。具体而言，数据集包含808,731条查询、532,761个相关性标注以及39,780,811个文档对，其中文档内容需从关联的irds/mmarco_de数据集中获取。这种分层构建策略确保了数据结构的清晰与可扩展性，为德语检索任务提供了基准化的训练资源。

特点

该数据集展现出鲜明的结构化特征，尤其适用于文本检索任务的模型训练与评估。其核心优势在于多维度数据的有机组合：查询集合覆盖大规模用户真实搜索意图，相关性判断提供了精确的监督信号，而海量文档对则支撑起对比学习的训练范式。此外，数据集严格遵循ir-datasets的标准格式，每个查询、文档对及相关性标签均以唯一标识符关联，便于与外部文档库无缝衔接。这种设计不仅强化了数据的一致性与可复现性，还使其成为跨语言信息检索研究中德语场景的标准化测试平台。

使用方法

在实际应用中，研究者可通过HuggingFace的datasets库便捷加载该数据集。调用load_dataset函数时，需指定数据集名称与子集参数，例如使用'irds/mmarco_de_train'配合'queries'、'qrels'或'docpairs'分别获取查询、相关性判断和文档对数据。每条记录以字典形式返回，包含query_id、text、doc_id及relevance等字段。值得注意的是，文档内容需独立从irds/mmarco_de数据集中提取，这种分离设计提升了数据管理的灵活性。整个加载过程会自动完成下载与缓存，降低了使用门槛，使研究者能够聚焦于模型开发与实验设计。

背景与挑战

背景概述

在信息检索与自然语言处理领域，多语言文本检索能力已成为衡量系统泛化性能的关键指标。针对这一需求，巴西研究人员Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo及Rodrigo Nogueira于2021年联合构建了mMARCO数据集，旨在将广泛使用的英文MS MARCO段落排序基准扩展至多语言场景。其中，mmarco/de/train作为德语子集，包含超过80万条查询与近4000万对文档对，为跨语言检索研究提供了大规模、高质量的标注资源。该数据集的发布显著推动了非英语语种检索模型的发展，尤其为德语检索任务的评估与优化奠定了坚实基础。

当前挑战

当前mmarco/de/train数据集面临的核心挑战首先体现在跨语言语义对齐的复杂性上：德语与英语在语法结构、词汇歧义及表达习惯上的显著差异，使得基于翻译或平行语料的检索模型难以精准捕获跨语言语义等价关系。其次，在构建过程中，原始MS MARCO数据集的英文查询需通过机器翻译转换为德语，这一流程引入了噪声与翻译误差，导致部分查询-文档对的相关性标注出现偏差。此外，德语特有的复合词与长尾表达增加了索引与匹配的难度，而数据规模庞大（近4000万文档对）进一步对计算资源与训练效率构成严峻挑战。

常用场景

经典使用场景

在跨语言信息检索领域，mMARCO德语训练集作为MS MARCO的多语言扩展版本，承载着弥合语言鸿沟的重要使命。该数据集以超过80万条查询与近4000万条文档对为核心，为研究者提供了大规模、高质量的德语文本检索基准。其经典应用在于训练和评估德语段落排序模型，通过查询与文档之间的相关性标注，推动神经检索架构在非英语语言中的适配与优化。这一场景不仅检验模型对德语语义的理解能力，更为多语言检索系统的性能提升奠定了数据基础。

实际应用

在实际应用层面，该数据集赋能了德语企业搜索引擎、法律文书检索系统及学术文献库等垂直场景的智能化升级。例如，工业级问答系统可借助基于该数据训练的排序模型，从海量德语技术文档中精准定位用户意图对应的答案段落。此外，它在跨语言新闻聚合平台中扮演关键角色，使德语用户能够通过母语查询高效获取多语种相关信息，显著提升信息获取的便捷性与覆盖面。

衍生相关工作

围绕该数据集衍生了一系列具有影响力的研究工作，例如基于mMARCO的多语言稠密检索模型（mColBERT）与跨语言排序模型（XLM-R）的适配优化。研究者还利用其文档对结构探索了对比学习框架下的负样本采样策略，催生了诸如Margin-MSE等知识蒸馏方法。这些工作不仅推动了多语言检索领域的基准进步，更促进了神经排序模型在德语等复杂形态语言中的鲁棒性提升，为后续多语言预训练语言模型的检索适配研究提供了重要参照。