income/scifact-top-20-gen-queries

BEIR Benchmark是一个异构基准数据集，由18个不同数据集组成，涵盖9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有任务均使用英语。该数据集支持一个排行榜，用于评估模型针对特定任务指标的能力，以及从维基百科检索支持信息的能力。数据集结构包括语料库、查询和qrels，均采用特定格式。

原始信息汇总

数据集概述

数据集基本信息

• 名称: BEIR Benchmark
• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语种

数据集大小分类

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

数据集结构

数据实例

• Corpus: 包含文档ID、标题和文本的JSONL文件。
• Queries: 包含查询ID和文本的JSONL文件。
• Qrels: 包含查询ID、文档ID和分数的TSV文件。

数据字段

• Corpus: 文档ID、标题和文本。
• Queries: 查询ID和文本。
• Qrels: 查询ID、文档ID和分数。

数据集创建

数据集来源

• BEIR: 包含18个不同数据集，用于9种信息检索任务。

使用数据集的考虑

数据集的社会影响

• 支持多种信息检索任务的评估。

数据集的偏见讨论

• 未提供具体信息。

其他已知限制

• 未提供具体信息。

附加信息

数据集贡献者

• 感谢@Nthakur20添加此数据集。

许可证信息

• CC-BY-SA-4.0

引用信息

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }