income/cqadupstack-gis-top-20-gen-queries

BEIR Benchmark是一个异构基准，由18个不同数据集构建而成，涵盖9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该基准支持英语任务，结构包括文集、查询和相关性判断文件，用于评估模型在信息检索任务中的表现。

The BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 types of information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. This benchmark supports English-language tasks, with its structure consisting of corpora, queries, and relevance judgment files, which are used to evaluate the performance of models in information retrieval tasks.

原始信息汇总

数据集概述

名称: BEIR Benchmark

描述: BEIR是一个异构基准，由18个不同的数据集组成，涵盖9种信息检索任务。这些任务包括事实检查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。

语言: 英语 (en)

许可: CC-BY-SA-4.0

多语言性: 单语种

数据集结构

• 数据实例: 每个BEIR数据集包含一个语料库、查询和qrels（相关性判断文件）。
  • corpus: 包含文档ID、标题和文本的.jsonl文件。
  • queries: 包含查询ID和文本的.jsonl文件。
  • qrels: 包含查询ID、文档ID和分数的.tsv文件。

数据集大小

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

任务和支持

• 任务类别: 文本检索
• 支持的任务和排行榜: 支持基于任务特定指标（如F1或EM）的模型评估，以及从维基百科检索支持信息的能力。

数据集创建

• 数据集创建者: 未提供详细信息
• 数据集来源: 未提供详细信息
• 注释: 未提供详细信息

使用数据集的注意事项

• 社会影响: 未提供详细信息
• 偏见讨论: 未提供详细信息
• 其他已知限制: 未提供详细信息

附加信息

• 数据集维护者: 未提供详细信息

• 许可信息: CC-BY-SA-4.0

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

• 贡献: 感谢@Nthakur20添加此数据集。