irds/mmarco_pt

`mmarco/pt`数据集由ir-datasets包提供，包含8,841,823个文档（即语料库）。该数据集被多个其他数据集使用，如`mmarco_pt_dev`、`mmarco_pt_dev_small`等。用户可以通过Python代码加载该数据集，并获取每个文档的ID和文本内容。

原始信息汇总

数据集概述

数据集名称

mmarco/pt

数据集来源

由 ir-datasets 包提供。

数据集内容

• docs (文档，即语料库); 数量=8,841,823

数据集用途

被以下数据集使用：

• mmarco_pt_dev
• mmarco_pt_dev_small
• mmarco_pt_dev_v1.1
• mmarco_pt_train
• mmarco_pt_train_v1.1

使用方法

python from datasets import load_dataset

docs = load_dataset(irds/mmarco_pt, docs) for record in docs: record # {doc_id: ..., text: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }