irds/mr-tydi_en

`mr-tydi/en`数据集由`ir-datasets`包提供，包含文档（`docs`）、查询（`queries`）和相关性评估（`qrels`）三部分。具体数量为：文档32,907,100条，查询5,194条，相关性评估5,360条。该数据集用于`mr-tydi_en_dev`、`mr-tydi_en_test`和`mr-tydi_en_train`等子数据集。

原始信息汇总

数据集概述

数据集名称

mr-tydi/en

数据来源

由 ir-datasets 提供。

数据内容

• 文档 (docs): 总数为32,907,100篇。
• 查询 (queries): 总数为5,194条。
• 相关性评估 (qrels): 总数为5,360条。

数据用途

该数据集被用于以下数据集的开发、测试和训练：

• mr-tydi_en_dev
• mr-tydi_en_test
• mr-tydi_en_train

使用示例

python from datasets import load_dataset

docs = load_dataset(irds/mr-tydi_en, docs) queries = load_dataset(irds/mr-tydi_en, queries) qrels = load_dataset(irds/mr-tydi_en, qrels)

引用信息

@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }