income/webis-touche2020-top-20-gen-queries

BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该数据集是单语（英语）的，采用CC-BY-SA-4.0许可证。数据集结构包括语料库、查询和相关性判断文件，每个文件都有特定的格式。README还提到了使用DocT5query模型为NFCorpus数据集生成合成查询。

原始信息汇总

数据集概述

名称: BEIR Benchmark

描述: BEIR是一个异构基准，由18个多样化的数据集构建，涵盖9种信息检索任务。

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语种

数据集大小分类:

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

数据集结构

数据格式:

• corpus 文件: .jsonl 文件，包含文档的唯一标识符、标题和文本。
• queries 文件: .jsonl 文件，包含查询的唯一标识符和文本。
• qrels 文件: .tsv 文件，包含查询标识符、文档标识符和相关性分数。

数据实例:

• corpus: 文档的标题和文本。
• queries: 查询文本。
• qrels: 查询与文档的相关性判断。

数据集创建

数据来源: 18个不同的数据集，用于评估信息检索模型。

任务类别: 文本检索

数据集支持的任务和排行榜: 支持基于任务特定指标（如F1或EM）的模型评估，以及从维基百科检索支持信息的能力。

附加信息

数据集引用:

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }