income/cqadupstack-gis-top-20-gen-queries

BEIR Benchmark是一个异构基准，由18个不同数据集构建而成，涵盖9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该基准支持英语任务，结构包括文集、查询和相关性判断文件，用于评估模型在信息检索任务中的表现。

原始信息汇总

数据集概述

名称: BEIR Benchmark

描述: BEIR是一个异构基准，由18个不同的数据集组成，涵盖9种信息检索任务。这些任务包括事实检查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。

语言: 英语 (en)

许可: CC-BY-SA-4.0

多语言性: 单语种

数据集结构

• 数据实例: 每个BEIR数据集包含一个语料库、查询和qrels（相关性判断文件）。
  • corpus: 包含文档ID、标题和文本的.jsonl文件。
  • queries: 包含查询ID和文本的.jsonl文件。
  • qrels: 包含查询ID、文档ID和分数的.tsv文件。

数据集大小

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

任务和支持

• 任务类别: 文本检索
• 支持的任务和排行榜: 支持基于任务特定指标（如F1或EM）的模型评估，以及从维基百科检索支持信息的能力。

数据集创建

• 数据集创建者: 未提供详细信息
• 数据集来源: 未提供详细信息
• 注释: 未提供详细信息

使用数据集的注意事项

• 社会影响: 未提供详细信息
• 偏见讨论: 未提供详细信息
• 其他已知限制: 未提供详细信息

附加信息

• 数据集维护者: 未提供详细信息

• 许可信息: CC-BY-SA-4.0

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

• 贡献: 感谢@Nthakur20添加此数据集。