irds/mmarco_v2_id_dev

`mmarco/v2/id/dev`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含101,093个`queries`（即主题）和59,273个`qrels`（相关性评估）。对于文档部分，需要使用`irds/mmarco_v2_id`数据集。用户可以通过Python代码加载并使用该数据集。

pretty_name: '`mmarco/v2/id/dev`'
viewer: 已禁用
source_datasets: ['irds/mmarco_v2_id']
task_categories:
- 文本检索

# `mmarco/v2/id/dev` 数据集卡片

本`mmarco/v2/id/dev`数据集由[ir-datasets](https://ir-datasets.com/)工具包提供。如需了解该数据集的更多详情，请参阅[官方文档](https://ir-datasets.com/mmarco#mmarco/v2/id/dev)。

# 数据集内容

本数据集包含以下内容：
- `queries`（即查询主题）：共计101,093条
- `qrels`（即相关性标注）：共计59,273条
- 如需获取文档（`docs`）数据，请使用 [`irds/mmarco_v2_id`](https://huggingface.co/datasets/irds/mmarco_v2_id) 数据集。

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/mmarco_v2_id_dev', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mmarco_v2_id_dev', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供获取指引），并将数据转换为🤗 数据集格式进行存储。

## 引用信息

@article{Bonifacio2021MMarco,
title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset},
author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira},
year={2021},
journal={arXiv:2108.13897}
}

原始信息汇总

数据集概述

数据集名称

mmarco/v2/id/dev

数据来源

• 原始数据集：irds/mmarco_v2_id

数据内容

• queries（查询语句）：数量为101,093
• qrels（相关性评估）：数量为59,273
• docs（文档）：使用数据集irds/mmarco_v2_id

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/mmarco_v2_id_dev, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/mmarco_v2_id_dev, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，多语言数据集对于评估跨语言检索系统至关重要。该数据集源自mMARCO v2项目，是MS MARCO Passage Ranking数据集的多语言扩展版本。其构建方式基于ir-datasets框架，从原始的mMARCO v2印尼语语料库中提取开发集子集，包含101,093条查询（queries）和59,273条相关性判断（qrels）。查询数据以query_id和文本对形式组织，而相关性判断则记录query_id、doc_id、相关性等级及迭代信息，形成结构化的检索评估基准。

特点

该数据集具有显著的多语言检索评估特性，专注于印尼语文本检索任务。其核心特点在于提供大规模、高质量的查询-文档相关性标注，共计超过十万条查询和近六万条人工判断，为开发集提供了丰富的评估样本。数据集的构建遵循ir-datasets标准格式，确保与主流检索工具兼容，同时文档部分需引用自同源的irds/mmarco_v2_id数据集，体现了模块化设计理念，便于研究者灵活组合使用。

使用方法

使用该数据集时，可通过HuggingFace的datasets库便捷加载。用户调用load_dataset函数，指定数据集名称'irds/mmarco_v2_id_dev'及子集参数（'queries'或'qrels'），即可获取迭代器对象。查询数据以字典形式返回，包含query_id和text字段；相关性数据则包含query_id、doc_id、relevance及iteration字段。值得注意的是，数据集首次加载时会自动下载并缓存至本地，后续使用可直接读取，极大简化了研究流程。

背景与挑战

背景概述

在跨语言信息检索领域，多语言文本检索数据集的匮乏长期制约着非英语语种检索技术的演进。mMARCO数据集由巴西坎皮纳斯大学（UNICAMP）的研究团队于2021年提出，旨在将英文MS MARCO段落排序数据集扩展至涵盖印度尼西亚语在内的多语言版本。该团队由Luiz Henrique Bonifacio、Israel Campiotti、Roberto Lotufo和Rodrigo Nogueira组成，核心研究问题在于构建一个高质量、大规模的多语言检索基准，以推动非英语检索模型的训练与评估。irds/mmarco_v2_id_dev作为其印尼语开发集，包含逾10万条查询和近6万条相关性判断，为印尼语段落排序任务提供了标准化测试平台，对低资源语言信息检索研究产生了重要影响。

当前挑战

当前数据集面临的核心挑战体现在两个层面。在领域问题层面，印尼语作为低资源语言，其检索系统需应对形态丰富性、词序灵活性及多义词消歧等语言特异性难题，而现有模型多依赖英语预训练，跨语言迁移中的语义对齐误差显著制约检索精度。在构建过程中，团队需克服机器翻译质量不均带来的噪声问题，确保印尼语查询与文档的语义保真度；同时，人工标注相关性判断的高昂成本与一致性控制构成另一重挑战，尤其是面对印尼语中大量口语化表达和方言变体时，标注标准的统一性难以保障。这些挑战共同限制了数据集的规模扩展与下游任务泛化能力。

常用场景

经典使用场景

在跨语言信息检索与多语言文本理解领域，irds/mmarco_v2_id_dev数据集作为mMARCO第二版印尼语开发集，承载着评估多语言检索模型泛化能力的重要使命。该数据集包含逾十万条查询及其对应的相关性判断，聚焦于印尼语语境下的段落级检索任务，为研究者提供了标准化的评测基准。其经典使用场景在于训练与验证面向低资源语言的神经检索模型，尤其是借助预训练语言模型（如XLM-R、mBERT）进行跨语言迁移学习，以提升模型在印尼语上的查询-文档匹配精度。通过该数据集，可系统性地探究多语言表示对齐、零样本跨语言检索等前沿问题，为构建真正普惠全球用户的通用搜索引擎奠定实验基础。

解决学术问题

该数据集有效回应了多语言信息检索领域长期存在的评测资源匮乏问题，特别是针对印尼语等非英语语言的标注数据稀缺困境。学术研究中，它解决了如何从高资源语言（如英语）向低资源语言迁移检索能力这一核心挑战，使研究者得以量化评估跨语言表示学习、对抗性域适应以及多任务联合训练等方法的实际效能。其意义在于推动了多语言检索系统的公平性研究，揭示了不同语言间检索性能差异的根源，并促进了面向东南亚语言群体的信息获取技术发展。这一数据集的发布，实质上为检验检索模型的跨语言泛化边界提供了不可或缺的标尺。

衍生相关工作

基于该数据集，学术界涌现了一系列重要衍生工作，包括跨语言稠密检索模型（如mColBERT、XLM-Retrieval）的改进与评估，以及多语言查询重写与扩展策略的研究。经典工作如Bonifacio等人提出的mMARCO基线系统，率先验证了在印尼语上微调多语言Transformer的可行性。后续研究进一步拓展了该数据集的应用边界，衍生出面向代码混合检索、方言适应以及多任务蒸馏等方向的创新方法。这些工作不仅深化了对多语言检索中表示共享与语言特异性平衡的理解，还催生了如CLIR（跨语言信息检索）领域的标准化评测流程，使该数据集成为连接学术探索与工业部署的关键枢纽。