irds/mmarco_v2_pt

`mmarco/v2/pt`数据集由`ir-datasets`包提供，包含8,841,823条文档（即语料库）。该数据集被`mmarco_v2_pt_dev`和`mmarco_v2_pt_train`两个数据集使用。用户可以通过Python代码加载该数据集，并获取每条记录的`doc_id`和`text`信息。

原始信息汇总

数据集概述

数据集名称

• mmarco/v2/pt

数据集来源

• 由 ir-datasets 包提供。

数据集内容

• 包含 docs（文档，即语料库），总数为 8,841,823。

数据集用途

• 用于 mmarco_v2_pt_dev 和 mmarco_v2_pt_train。

数据集加载示例

python from datasets import load_dataset

docs = load_dataset(irds/mmarco_v2_pt, docs) for record in docs: record # {doc_id: ..., text: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }