irds/mr-tydi_fi_test
收藏数据集卡片 mr-tydi/fi/test
数据集概述
mr-tydi/fi/test 数据集由 ir-datasets 包提供。
数据内容
该数据集包含以下内容:
queries(即主题):数量为 1,254 条。qrels(相关性评估):数量为 1,451 条。
对于 docs,请使用 irds/mr-tydi_fi。
使用方法
以下是加载数据集的示例代码:
python from datasets import load_dataset
queries = load_dataset(irds/mr-tydi_fi_test, queries) for record in queries: record # {query_id: ..., text: ...}
qrels = load_dataset(irds/mr-tydi_fi_test, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}
注意:调用 load_dataset 将下载数据集(或提供非公开数据集的访问说明),并在 🤗 Dataset 格式中创建数据的副本。
引用信息
@article{Zhang2021MrTyDi, title={{Mr. TyDi}: A Multi-lingual Benchmark for Dense Retrieval}, author={Xinyu Zhang and Xueguang Ma and Peng Shi and Jimmy Lin}, year={2021}, journal={arXiv:2108.08787}, } @article{Clark2020TyDiQa, title={{TyDi QA}: A Benchmark for Information-Seeking Question Answering in Typologically Diverse Languages}, author={Jonathan H. Clark and Eunsol Choi and Michael Collins and Dan Garrette and Tom Kwiatkowski and Vitaly Nikolaev and Jennimaria Palomaki}, year={2020}, journal={Transactions of the Association for Computational Linguistics} }



