irds/msmarco-passage_train_triples-v2

`msmarco-passage/train/triples-v2`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含`docpairs`，数量为397,768,673。使用该数据集时，可以通过`load_dataset`函数加载数据，并获取包含`query_id`、`doc_id_a`和`doc_id_b`的记录。

The `msmarco-passage/train/triples-v2` dataset, provided by the `ir-datasets` package, is primarily used for text retrieval tasks. This dataset contains `docpairs`, with a total of 397,768,673 entries. When using this dataset, users can load the data via the `load_dataset` function and obtain records containing `query_id`, `doc_id_a`, and `doc_id_b`.

原始信息汇总

数据集概述

数据集名称

msmarco-passage/train/triples-v2

数据集来源

• 来源：ir-datasets
• 原始数据集：irds/msmarco-passage

数据内容

• 数据类型：docpairs
• 数量：397,768,673

使用方法

python from datasets import load_dataset

docpairs = load_dataset(irds/msmarco-passage_train_triples-v2, docpairs) for record in docpairs: record # {query_id: ..., doc_id_a: ..., doc_id_b: ...}

引用信息

@inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} }

搜集汇总

背景与挑战

背景概述

该数据集是MS MARCO数据集的一部分，专门用于文本检索任务，提供约3.98亿个训练三元组（docpairs），每个三元组包含查询ID和两个文档ID，旨在支持信息检索模型的训练。数据集基于人类生成的机器阅读理解数据，适用于构建和评估检索系统。