castorini/msmarco_v1_doc_segmented_doc2query-t5_expansions

该数据集提供了使用docTTTTTquery模型为MS MARCO V1文档分段语料库生成的查询。docTTTTTquery模型是doc2query系列文档扩展模型的最新版本，其基本思想是训练一个模型，当给定输入文档时，生成文档可能回答的问题（或更广泛地说，文档可能相关的查询）。这些预测的问题（或查询）随后被附加到原始文档中，然后像以前一样进行索引。数据集的结构包括训练集、开发集和测试集，它们共享相同的语料库。

原始信息汇总

数据集概述

数据集内容

本数据集提供了针对MS MARCO V1文档分割语料库生成的查询，使用的是docTTTTTquery模型，这是doc2query系列文档扩展模型的最新版本。该模型的基本思想是训练一个模型，使其能够根据输入文档生成可能回答的问题（或更广泛的查询），然后将这些预测的问题（或查询）附加到原始文档上，并按原样进行索引。

数据集结构

• 所有三个折叠（训练、开发和测试）共享相同的语料库。

• 示例数据条目格式如下：

  { "id": "D1555982#0", "predicted_queries": ["when find radius of star r", "what is r radius", "how to find out radius of star", "what is radius r", "what is radius of r", "how do you find radius of star igel", "which law states that radiation is proportional to radiation?", "what is the radius of a spherical star", "what is the radius of the star", "what is radius of star"] }

加载数据集

加载数据集的示例代码如下： python dataset = load_dataset(castorini/msmarco_v1_doc_segmented_doc2query-t5_expansions)

引用信息

• 引用docTTTTTquery模型：

  @article{docTTTTTquery, title={From doc2query to {docTTTTTquery}}, author={Nogueira, Rodrigo and Lin, Jimmy}, year={2019} }

• 引用emdt5：

  @article{emdt5, author = "Ronak Pradeep and Rodrigo Nogueira and Jimmy Lin", title = "The Expando-Mono-Duo Design Pattern for Text Ranking with Pretrained Sequence-to-Sequence Models", journal = "arXiv:2101.05667", year = 2021, }