irds/mmarco_v2_zh_train

`mmarco/v2/zh/train`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含查询（queries）、相关性评估（qrels）和文档对（docpairs）三个部分。查询数量为808,731，相关性评估数量为532,761，文档对数量为39,780,811。文档部分需要使用`irds/mmarco_v2_zh`数据集。

The `mmarco/v2/zh/train` dataset is provided by the ir-datasets package and is primarily used for text retrieval tasks. This dataset consists of three components: queries, relevance judgments (qrels), and docpairs. It contains 808,731 queries, 532,761 relevance judgment entries, and 39,780,811 docpairs. The document corpus of this dataset requires using the `irds/mmarco_v2_zh` dataset.

原始信息汇总

数据集概述

数据集名称

mmarco/v2/zh/train

数据来源

• 源数据集：irds/mmarco_v2_zh

任务类别

• 文本检索

数据内容

• queries（查询）：808,731条
• qrels（相关性评估）：532,761条
• docpairs：39,780,811条

数据使用

• 使用load_dataset函数加载数据集，具体格式如下：
  • queries：{query_id: ..., text: ...}
  • qrels：{query_id: ..., doc_id: ..., relevance: ..., iteration: ...}
  • docpairs：{query_id: ..., doc_id_a: ..., doc_id_b: ...}

引用信息

@article{Bonifacio2021MMarco, title={{mMARCO}: A Multilingual Version of {MS MARCO} Passage Ranking Dataset}, author={Luiz Henrique Bonifacio and Israel Campiotti and Roberto Lotufo and Rodrigo Nogueira}, year={2021}, journal={arXiv:2108.13897} }

搜集汇总

背景与挑战

背景概述

该数据集是'mMARCO'多语言版本的中文训练子集，基于MS MARCO数据集构建，专注于文本检索任务。它包含大量查询、相关性评估和文档对数据，适用于训练和评估检索模型，具有结构化、大规模的特点。