income/dbpedia-entity-top-20-gen-queries

BEIR是一个异构的基准测试，包含了18个不同的数据集，涵盖了9种信息检索任务，如事实核查、问答、生物医学信息检索等。所有数据集都经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询-文档相关性判断。数据集的所有任务均为英文。

原始信息汇总

数据集概述

• 名称: BEIR Benchmark
• 别名: BEIR
• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语种
• 任务类别: 文本检索
• 数据集大小:
  • msmarco: 1M<n<10M
  • trec-covid: 100k<n<1M
  • nfcorpus: 1K<n<10K
  • nq: 1M<n<10M
  • hotpotqa: 1M<n<10M
  • fiqa: 10K<n<100K
  • arguana: 1K<n<10K
  • touche-2020: 100K<n<1M
  • cqadupstack: 100K<n<1M
  • quora: 100K<n<1M
  • dbpedia: 1M<n<10M
  • scidocs: 10K<n<100K
  • fever: 1M<n<10M
  • climate-fever: 1M<n<10M
  • scifact: 1K<n<10K

数据集结构

• 文件格式:
  • corpus: .jsonl 文件，包含文档的唯一标识符、标题和文本。
  • queries: .jsonl 文件，包含查询的唯一标识符和文本。
  • qrels: .tsv 文件，包含查询标识符、文档标识符和相关性评分。

数据实例

• 文档示例: python corpus = { "doc1": { "title": "Albert Einstein", "text": "Albert Einstein was a German-born theoretical physicist..." }, "doc2": { "title": "", "text": "Wheat beer is a top-fermented beer..." } }

• 查询示例: python queries = { "q1": "Who developed the mass-energy equivalence formula?", "q2": "Which beer is brewed with a large proportion of wheat?" }

• 相关性判断示例: python qrels = { "q1": {"doc1": 1}, "q2": {"doc2": 1} }

数据集创建

• 来源数据:
  • 数据集包含来自18个不同源的数据，用于9种信息检索任务。
  • 所有数据集均已预处理，可供实验使用。

许可证信息

• 许可证: CC-BY-SA-4.0

引用信息

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }