irds/mmarco_v2_zh_dev

---
pretty_name: '`mmarco/v2/zh/dev`'
viewer: false
source_datasets: ['irds/mmarco_v2_zh']
task_categories:
- text-retrieval
---

# Dataset Card for `mmarco/v2/zh/dev`

The `mmarco/v2/zh/dev` dataset, provided by the [ir-datasets](https://ir-datasets.com/) package.
For more information about the dataset, see the [documentation](https://ir-datasets.com/mmarco#mmarco/v2/zh/dev).

# Data

This dataset provides:
- `queries` (i.e., topics); count=101,093
- `qrels`: (relevance assessments); count=59,273

- For `docs`, use [`irds/mmarco_v2_zh`](https://huggingface.co/datasets/irds/mmarco_v2_zh)

## Usage

```python
from datasets import load_dataset

queries = load_dataset('irds/mmarco_v2_zh_dev', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mmarco_v2_zh_dev', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

```

Note that calling `load_dataset` will download the dataset (or provide access instructions when it's not public) and make a copy of the
data in 🤗 Dataset format.

## Citation Information

```
@article{Bonifacio2021MMarco,
title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset},
author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira},
year={2021},
journal={arXiv:2108.13897}
}
```

---
pretty_name: '`mmarco/v2/zh/dev`'
查看器：已禁用
源数据集：['irds/mmarco_v2_zh']
任务类别：
- 文本检索
---

# `mmarco/v2/zh/dev` 数据集卡片

本`mmarco/v2/zh/dev`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mmarco#mmarco/v2/zh/dev)。

## 数据

本数据集包含以下内容：
- `queries`（即查询主题）：共计101093条
- `qrels`（相关性评估集）：共计59273条

- 如需获取文档数据，请使用 [`irds/mmarco_v2_zh`](https://huggingface.co/datasets/irds/mmarco_v2_zh) 数据集。

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/mmarco_v2_zh_dev', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mmarco_v2_zh_dev', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`将自动下载该数据集（若数据集未公开，则会提供获取指引），并将数据转换为🤗 Dataset格式进行存储。

## 引用信息

@article{Bonifacio2021MMarco,
title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset},
author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira},
year={2021},
journal={arXiv:2108.13897}
}

原始信息汇总

数据集概述

数据集名称

mmarco/v2/zh/dev

数据来源

• 原始数据集：irds/mmarco_v2_zh

任务类别

• 文本检索

数据内容

• queries（查询）: 数量=101,093
• qrels（相关性评估）: 数量=59,273
• docs（文档）: 使用irds/mmarco_v2_zh数据集

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_v2_zh_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_v2_zh_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

该数据集基于MS MARCO Passage Ranking Dataset的多语言版本mMARCO v2构建，聚焦于中文（zh）子集的开发集（dev）。源自ir-datasets包，通过整合原始mMARCO v2中文语料库，提取了101,093条查询（queries）和59,273条相关性评估（qrels）作为核心组件。文档数据则指向irds/mmarco_v2_zh数据集，确保构建过程中查询与文档的关联性准确映射。这种设计旨在为中文文本检索任务提供标准化的评估基准，通过保留原始数据的多语言特性，降低了跨语言检索研究的门槛。

特点

该数据集具备显著的结构化特征，包含独立的查询集与相关性评估集，便于直接用于检索系统的训练与评测。查询数量达十万级，覆盖广泛的中文自然语言表达，增强了数据集的多样性与代表性。相关性评估采用分级标注，支持细粒度的性能分析。作为mMARCO v2中文开发集，其与训练集和测试集保持一致的标注规范，确保实验的可重复性。此外，数据集通过Hugging Face平台发布，依托ir-datasets的标准化接口，提升了跨框架的兼容性与易用性。

使用方法

用户可通过Hugging Face的datasets库便捷加载数据，使用load_dataset函数指定'irds/mmarco_v2_zh_dev'，并选择'queries'或'qrels'子集获取查询或相关性评估记录。查询记录包含查询ID与文本内容，qrels记录则包含查询ID、文档ID、相关性分数及迭代信息。加载后的数据以Dataset格式存储，支持迭代处理与批量操作，适用于基于Python的检索模型开发。建议结合irds/mmarco_v2_zh文档数据集使用，以构建完整的检索实验流水线。

背景与挑战

背景概述

在信息检索领域，多语言文本检索任务因语言多样性与资源分布不均而面临严峻挑战。mMARCO数据集由Luiz Henrique Bonifacio等人于2021年提出，作为MS MARCO的多语言扩展版本，旨在推动非英语场景下的段落排序研究。其中，mmarco_v2_zh_dev子集专门面向中文检索，包含约10.1万个查询与5.9万条相关性标注，为跨语言检索模型提供了标准化评估基准。该数据集依托ir-datasets平台发布，其构建填补了中文大规模检索评测数据的空白，显著促进了多语言信息检索技术的研究进展，在自然语言处理与信息检索交叉领域产生了广泛影响力。

当前挑战

当前数据集面临的核心挑战包括：首先，在领域问题层面，中文检索需应对语言歧义性、分词复杂性及语义匹配的细粒度要求，而现有模型在跨语言泛化与零样本迁移上仍存不足，限制了实际应用效果。其次，在构建过程中，数据源自多语言段落池的自动翻译与对齐，可能引入翻译噪声与语境偏差，导致部分查询-文档相关性标注的可靠性降低。此外，查询与文档数量的不对称性（查询约10.1万，文档依赖外部集合）增加了评估的复杂性，如何有效利用有限标注数据提升模型鲁棒性，成为亟待解决的技术难点。

常用场景

经典使用场景

在信息检索与自然语言处理交叉领域中，irds/mmarco_v2_zh_dev 作为多语言段落排序基准数据集 mMARCO 的中文验证子集，常被用于评估跨语言检索模型的性能。该数据集包含约10万条查询与近6万条相关性标注，研究者通过其查询-文档对构建检索系统，在中文场景下测试模型对语义匹配与上下文理解的精准度。其经典用法是将查询作为输入，从文档集合中召回相关段落，并依据 qrels 中的相关性分级计算 MRR、NDCG 等指标，从而对比不同排序算法的优劣。

衍生相关工作

该数据集催生了多项经典研究工作，如基于 mMARCO 的多语言稠密检索模型（如 mColBERT、mDistilBERT）的提出，这些模型通过共享编码器与蒸馏技术，在中文验证集上实现了显著性能提升。此外，研究者还衍生出跨语言负样本挖掘策略与多任务学习框架，利用该数据集验证了对比学习在排序任务中的有效性。相关工作进一步启发了 mMARCO 在零样本检索、多语言知识增强等方向上的探索，成为多语言 IR 领域的重要标杆。

数据集最近研究

最新研究方向

在跨语言信息检索领域，mMARCO v2中文开发集作为多语言段落排序基准数据集，正被广泛用于探索基于预训练语言模型的零样本迁移与多语言对齐技术。当前前沿研究聚焦于如何利用该数据集优化中文查询与多源文档之间的语义匹配能力，例如通过对比学习或知识蒸馏策略增强跨语言表示的一致性。该数据集与MS MARCO的关联使其成为评估多语言检索模型在非英语场景下泛化性能的关键资源，尤其在低资源语言检索、多语言问答系统等热点方向中具有重要价值。其提供的十万余条中文查询与相关性标注，为构建更鲁棒的跨语言检索系统奠定了数据基础，推动了信息检索领域向更包容的多语言生态演进。