income/trec-covid-top-20-gen-queries

BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该数据集是单语（英语）的，采用CC-BY-SA-4.0许可证。数据集结构包括语料库、查询和相关性判断文件，每个文件都有特定的格式和字段。README还提到了使用DocT5query模型为NFCorpus数据集生成合成查询。

原始信息汇总

数据集概述

名称: BEIR Benchmark

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语

数据集大小:

• MSMARCO: 1M<n<10M
• TREC-COVID: 100k<n<1M
• NFCorpus: 1K<n<10K
• NQ: 1M<n<10M
• HotpotQA: 1M<n<10M
• FiQA: 10K<n<100K
• ArguAna: 1K<n<10K
• Touche-2020: 100K<n<1M
• CQADupstack: 100K<n<1M
• Quora: 100K<n<1M
• DBpedia: 1M<n<10M
• SciDocs: 10K<n<100K
• FEVER: 1M<n<10M
• Climate-FEVER: 1M<n<10M
• SciFact: 1K<n<10K

任务类别: 文本检索

数据集结构

• 文档: 包含唯一文档标识符、标题和文本内容。
• 查询: 包含唯一查询标识符和查询文本。
• 相关性判断: 包含查询标识符、文档标识符和相关性分数。

数据集创建

• 数据源: 来自18个不同的数据集，涵盖9种信息检索任务。
• 预处理: 所有数据集均已预处理，可供实验使用。

使用数据注意事项

• 社会影响: 需要更多信息。
• 偏见讨论: 需要更多信息。
• 其他已知限制: 需要更多信息。

附加信息

• 数据集维护者: 需要更多信息。

• 许可证信息: CC-BY-SA-4.0。

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

• 贡献者: 感谢@Nthakur20添加此数据集。