income/nq-top-20-gen-queries

BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务。这些任务包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。数据集为英文，采用CC-BY-SA-4.0许可证。数据集结构包括语料库、查询和相关判断文件，每个文件都有特定的格式和字段。

The BEIR benchmark dataset is a heterogeneous benchmark composed of 18 distinct datasets covering 9 information retrieval tasks. These tasks include fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets are in English and licensed under CC-BY-SA-4.0. The dataset structure includes corpus, query, and relevance judgment files, each with specific formats and fields.

原始信息汇总

数据集概述

数据集名称

• BEIR Benchmark

数据集属性

• 语言: 英语 (en)
• 许可证: cc-by-sa-4.0
• 多语言性: 单语种
• 大小分类:
  • msmarco: 1M<n<10M
  • trec-covid: 100k<n<1M
  • nfcorpus: 1K<n<10K
  • nq: 1M<n<10M
  • hotpotqa: 1M<n<10M
  • fiqa: 10K<n<100K
  • arguana: 1K<n<10K
  • touche-2020: 100K<n<1M
  • cqadupstack: 100K<n<1M
  • quora: 100K<n<1M
  • dbpedia: 1M<n<10M
  • scidocs: 10K<n<100K
  • fever: 1M<n<10M
  • climate-fever: 1M<n<10M
  • scifact: 1K<n<10K

任务类别

• 文本检索

数据集结构

• 文档格式: .jsonl (jsonlines)
• 查询格式: .jsonl (jsonlines)
• 相关性判断文件格式: .tsv (tab-separated)

数据实例

• 文档: 包含_id, title (可选), text字段
• 查询: 包含_id, text字段
• 相关性判断: 包含query-id, corpus-id, score字段

数据集创建

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

数据集详细信息

• 包含18个不同数据集，代表9种信息检索任务
• 所有数据集均已预处理，可供实验使用