income/cqadupstack-programmers-top-20-gen-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有数据集都经过预处理，适用于实验。数据集支持一个排行榜，用于评估模型在任务特定指标上的表现，如F1或EM，以及从维基百科检索支持信息的能力。所有任务均为英语。数据集的结构包括corpus、queries和qrels文件，分别包含文档、查询和查询文档相关性判断。

原始信息汇总

数据集概述

• 名称: BEIR Benchmark
• 别名: BEIR
• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语
• 任务类别: 文本检索

数据集详细信息

• 数据集大小:
  • MSMARCO: 1M<n<10M
  • TREC-COVID: 100k<n<1M
  • NFCorpus: 1K<n<10K
  • NQ: 1M<n<10M
  • HotpotQA: 1M<n<10M
  • FiQA: 10K<n<100K
  • ArguAna: 1K<n<10K
  • Touche-2020: 100K<n<1M
  • CQADupstack: 100K<n<1M
  • Quora: 100K<n<1M
  • DBpedia: 1M<n<10M
  • SciDocs: 10K<n<100K
  • FEVER: 1M<n<10M
  • Climate-FEVER: 1M<n<10M
  • SciFact: 1K<n<10K

数据集结构

• 文件格式:
  • corpus: .jsonl 文件，包含文档的唯一标识符、标题和文本。
  • queries: .jsonl 文件，包含查询的唯一标识符和文本。
  • qrels: .tsv 文件，包含查询ID、文档ID和相关性评分。

数据实例

• 示例: python corpus = { "doc1": { "title": "Albert Einstein", "text": "Albert Einstein was a German-born theoretical physicist..." }, "doc2": { "title": "", "text": "Wheat beer is a top-fermented beer which is brewed with a large proportion of wheat..." } }

  queries = { "q1": "Who developed the mass-energy equivalence formula?", "q2": "Which beer is brewed with a large proportion of wheat?" }

  qrels = { "q1": {"doc1": 1}, "q2": {"doc2": 1} }

数据集创建

• 来源数据: 18个不同的数据集，涵盖9种信息检索任务。
• 预处理: 所有数据集已预处理，可供实验使用。

使用数据注意事项

• 任务支持: 支持模型评估，包括F1和EM等任务特定指标。
• 语言: 所有任务均为英语。

附加信息

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }