irds/mmarco_v2_dt_train

mmarco/v2/dt/train数据集是一个多语言版本的MS MARCO段落排名数据集，包含808,731个查询、532,761个相关性评估和39,780,811个文档对，主要用于文本检索任务。

---
显示名称：`mmarco/v2/dt/train`
数据集查看器：禁用
源数据集：['irds/mmarco_v2_dt']
任务类别：
- 文本检索（text-retrieval）
---

# `mmarco/v2/dt/train` 数据集卡片

本数据集`mmarco/v2/dt/train`由[ir-datasets](https://ir-datasets.com/)包提供。如需了解该数据集的更多详情，请参阅其[官方文档](https://ir-datasets.com/mmarco#mmarco/v2/dt/train)。

# 数据说明

本数据集包含以下内容：
- `queries`（即查询主题）：共808,731条
- `qrels`（相关性标注集）：共532,761条
- `docpairs`：共39,780,811条
- 如需获取`docs`，请使用数据集 [`irds/mmarco_v2_dt`](https://huggingface.co/datasets/irds/mmarco_v2_dt)

## 使用方法

python
from datasets import load_dataset

queries = load_dataset('irds/mmarco_v2_dt_train', 'queries')
for record in queries:
record # {'query_id': ..., 'text': ...}

qrels = load_dataset('irds/mmarco_v2_dt_train', 'qrels')
for record in qrels:
record # {'query_id': ..., 'doc_id': ..., 'relevance': ..., 'iteration': ...}

docpairs = load_dataset('irds/mmarco_v2_dt_train', 'docpairs')
for record in docpairs:
record # {'query_id': ..., 'doc_id_a': ..., 'doc_id_b': ...}

请注意，调用`load_dataset`函数将自动下载该数据集（若数据集未公开，则会提供访问指引），并将数据转换为🤗 数据集格式存储副本。

## 引用信息

@article{Bonifacio2021MMarco,
title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset},
author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira},
year={2021},
journal={arXiv:2108.13897}
}

原始信息汇总

数据集概述

数据集名称

mmarco/v2/dt/train

数据集来源

• 来源：ir-datasets
• 原始数据集：irds/mmarco_v2_dt

数据集内容

• queries: 查询（即主题），数量为808,731
• qrels: 相关性评估，数量为532,761
• docpairs: 文档对，数量为39,780,811

数据集使用

• 使用datasets库加载数据集，具体数据集为irds/mmarco_v2_dt_train，可加载的数据类型包括queries, qrels, 和docpairs。

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }