income/fiqa-top-20-gen-queries

BEIR Benchmark是一个异构的基准测试，包含了18个不同的数据集，涵盖了9种信息检索任务。这些任务包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有数据集都经过预处理，可以用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。

原始信息汇总

数据集概述

数据集名称: BEIR Benchmark

别名: BEIR

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语种

数据集大小分类:

• MSMARCO: 1M<n<10M
• TREC-COVID: 100k<n<1M
• NFCorpus: 1K<n<10K
• NQ: 1M<n<10M
• HotpotQA: 1M<n<10M
• FiQA: 10K<n<100K
• ArguAna: 1K<n<10K
• Touche-2020: 100K<n<1M
• CQADupstack: 100K<n<1M
• Quora: 100K<n<1M
• DBpedia: 1M<n<10M
• SciDocs: 10K<n<100K
• FEVER: 1M<n<10M
• Climate-FEVER: 1M<n<10M
• SciFact: 1K<n<10K

数据集结构

数据集组成:

• Corpus文件: .jsonl 格式，包含文档的唯一标识符、标题和文本。
• Queries文件: .jsonl 格式，包含查询的唯一标识符和文本。
• Qrels文件: .tsv 格式，包含查询ID、文档ID和相关性评分。

数据实例示例: python corpus = { "doc1": { "title": "Albert Einstein", "text": "..." }, "doc2": { "title": "", "text": "..." } } queries = { "q1": "Who developed the mass-energy equivalence formula?", "q2": "Which beer is brewed with a large proportion of wheat?" } qrels = { "q1": {"doc1": 1}, "q2": {"doc2": 1} }

数据集创建

数据集来源:

• 包含18个不同的数据集，涵盖9种信息检索任务。
• 数据集已预处理，可直接用于实验。

任务和支持:

• 支持的任务包括事实检查、问答、生物医学信息检索等。
• 提供Leaderboard，用于评估模型性能。

使用数据集的考虑

社会影响: 未提供具体信息。

偏见讨论: 未提供具体信息。

其他已知限制: 未提供具体信息。

附加信息

数据集维护者: 未提供具体信息。

许可证信息: 未提供具体信息。

引用信息:

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

贡献者: 感谢@Nthakur20添加此数据集。