irds/msmarco-document_trec-dl-hard_fold3

`msmarco-document/trec-dl-hard/fold3`数据集由`ir-datasets`包提供，主要用于文本检索任务。该数据集包含10个查询（queries）和474个相关评估（qrels）。文档（docs）部分需要使用`irds/msmarco-document`数据集。数据集的使用示例代码展示了如何加载查询和相关评估数据。

原始信息汇总

数据集卡片 msmarco-document/trec-dl-hard/fold3

数据集概述

msmarco-document/trec-dl-hard/fold3 数据集由 ir-datasets 包提供。

数据内容

• 查询（queries）：包含 10 个查询（即主题）。
• 相关性评估（qrels）：包含 474 个相关性评估。

使用方法

以下是加载数据集的示例代码：

python from datasets import load_dataset

queries = load_dataset(irds/msmarco-document_trec-dl-hard_fold3, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/msmarco-document_trec-dl-hard_fold3, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ...}

引用信息

@article{Mackie2021DlHard, title={How Deep is your Learning: the DL-HARD Annotated Deep Learning Dataset}, author={Iain Mackie and Jeffrey Dalton and Andrew Yates}, journal={ArXiv}, year={2021}, volume={abs/2105.07975} } @inproceedings{Bajaj2016Msmarco, title={MS MARCO: A Human Generated MAchine Reading COmprehension Dataset}, author={Payal Bajaj, Daniel Campos, Nick Craswell, Li Deng, Jianfeng Gao, Xiaodong Liu, Rangan Majumder, Andrew McNamara, Bhaskar Mitra, Tri Nguyen, Mir Rosenberg, Xia Song, Alina Stoica, Saurabh Tiwary, Tong Wang}, booktitle={InCoCo@NIPS}, year={2016} }