income/cqadupstack-android-top-20-gen-queries

BEIR基准数据集是一个异构基准，由18个不同的数据集组成，代表了9个信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。该数据集是单语（英语）的，采用CC-BY-SA-4.0许可证。数据集结构包括语料库、查询和相关判断文件，每个文件都有特定的格式和字段。

原始信息汇总

数据集概述

名称: BEIR Benchmark

别名: BEIR

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语种

大小:

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

任务类别: 文本检索

数据集结构

• 文档格式: .jsonl (jsonlines)
• 查询格式: .jsonl (jsonlines)
• 相关性判断文件格式: .tsv (tab-separated)

数据实例

• 文档: 包含_id（唯一文档标识符）、title（文档标题，可选）和text（文档段落或文本）。
• 查询: 包含_id（唯一查询标识符）和text（查询文本）。
• 相关性判断: 包含query-id、corpus-id和score（相关性评分）。

数据集创建

数据来源

• 预处理: 所有数据集均已预处理，可直接用于实验。

数据集详情

• msmarco: 包含8.84M文档，6,980查询。
• trec-covid: 包含171K文档，50查询。
• nfcorpus: 包含3.6K文档，323查询。
• nq: 包含2.68M文档，3,452查询。
• hotpotqa: 包含5.23M文档，7,405查询。
• fiqa: 包含57K文档，648查询。
• arguana: 包含8.67K文档，1,406查询。
• touche-2020: 包含382K文档，49查询。
• cqadupstack: 包含457K文档，13,145查询。
• quora: 包含523K文档，10,000查询。
• dbpedia: 包含4.63M文档，400查询。
• scidocs: 包含25K文档，1,000查询。
• fever: 包含5.42M文档，6,666查询。
• climate-fever: 包含5.42M文档，1,535查询。
• scifact: 包含5K文档，300查询。

许可证信息

• 许可证: CC-BY-SA-4.0

引用信息

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }