income/fever-top-20-gen-queries

BEIR基准是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务。这些任务包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。数据集是单语的，所有任务均为英语。数据集结构包括语料库、查询和qrels（相关性判断文件），每种文件都有特定的格式。数据集支持一个排行榜，用于评估模型在任务特定指标上的表现。README还提到了使用DocT5query模型为NFCorpus数据集生成合成查询。

原始信息汇总

数据集概述

• 名称: BEIR Benchmark
• 别名: BEIR
• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语
• 任务类别: 文本检索

数据集组成

• 大小分类:
  • msmarco: 1M<n<10M
  • trec-covid: 100k<n<1M
  • nfcorpus: 1K<n<10K
  • nq: 1M<n<10M
  • hotpotqa: 1M<n<10M
  • fiqa: 10K<n<100K
  • arguana: 1K<n<10K
  • touche-2020: 100K<n<1M
  • cqadupstack: 100K<n<1M
  • quora: 100K<n<1M
  • dbpedia: 1M<n<10M
  • scidocs: 10K<n<100K
  • fever: 1M<n<10M
  • climate-fever: 1M<n<10M
  • scifact: 1K<n<10K

数据集结构

• 文件格式:
  • corpus: .jsonl 文件，包含文档的唯一标识符、标题和文本。
  • queries: .jsonl 文件，包含查询的唯一标识符和文本。
  • qrels: .tsv 文件，包含查询标识符、文档标识符和相关性评分。

数据集创建

• 来源数据: 来自18个不同数据集，涵盖9种信息检索任务。
• 预处理: 所有数据集已预处理，可供实验使用。

使用注意事项

• 社会影响: 未提供详细信息。
• 偏见讨论: 未提供详细信息。
• 其他已知限制: 未提供详细信息。

附加信息

• 数据集维护者: 未提供详细信息。

• 许可证信息: 未提供详细信息。

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

• 贡献者: 感谢 @Nthakur20 添加此数据集。