income/hotpotqa-top-20-gen-queries

BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该数据集设计用于信息检索模型的零样本评估，是单语（英语）数据集，采用CC-BY-SA-4.0许可证。数据集包含不同大小的子集，范围从1K<n<10K到1M<n<10M。数据集结构包括语料库、查询和相关判断文件，并支持用于评估模型的排行榜。README还提到使用DocT5query模型为NFCorpus数据集生成合成查询。

原始信息汇总

数据集概述

数据集基本信息

• 名称: BEIR Benchmark
• 别名: BEIR
• 许可证: cc-by-sa-4.0
• 语言: 英语 (en)
• 多语言性: 单语
• 大小分类:
  • msmarco: 1M<n<10M
  • trec-covid: 100k<n<1M
  • nfcorpus: 1K<n<10K
  • nq: 1M<n<10M
  • hotpotqa: 1M<n<10M
  • fiqa: 10K<n<100K
  • arguana: 1K<n<10K
  • touche-2020: 100K<n<1M
  • cqadupstack: 100K<n<1M
  • quora: 100K<n<1M
  • dbpedia: 1M<n<10M
  • scidocs: 10K<n<100K
  • fever: 1M<n<10M
  • climate-fever: 1M<n<10M
  • scifact: 1K<n<10K

任务和支持

• 任务类别: 文本检索
• 支持的任务和排行榜: 支持基于F1或EM等任务特定指标的模型评估，以及从维基百科检索支持信息的能力。
• 语言: 所有任务均为英语。

数据集结构

• 数据格式:
  • corpus: .jsonl 文件，包含文档的唯一标识符、标题和文本。
  • queries: .jsonl 文件，包含查询的唯一标识符和文本。
  • qrels: .tsv 文件，包含查询标识符、文档标识符和相关性评分。

数据实例

• 示例:
  • corpus: 包含文档标题和文本的JSON对象。
  • queries: 包含查询文本的JSON对象。
  • qrels: 包含查询与文档相关性评分的字典。

数据集创建

• 来源数据: 来自18个不同数据集，涵盖9种信息检索任务。
• 数据集大小: 根据不同子数据集，大小从1K到10M不等。

使用数据注意事项

• 数据集影响: 需要更多信息。
• 偏见讨论: 需要更多信息。
• 其他已知限制: 需要更多信息。

附加信息

• 数据集维护者: 需要更多信息。

• 许可证信息: cc-by-sa-4.0

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

• 贡献者: 感谢 @Nthakur20 添加此数据集。