BeIR/fiqa-generated-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务，包括事实核查、问答、生物医学信息检索等。所有数据集均为英文，并且已经过预处理，可以直接用于实验。数据集的格式包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。

原始信息汇总

数据集概述

名称: BEIR Benchmark

语言: 英语 (en)

许可: CC-BY-SA-4.0

多语言性: 单语

大小:

• MSMARCO: 1M<n<10M
• TREC-COVID: 100k<n<1M
• NFCorpus: 1K<n<10K
• NQ: 1M<n<10M
• HotpotQA: 1M<n<10M
• FiQA: 10K<n<100K
• ArguAna: 1K<n<10K
• Touche-2020: 100K<n<1M
• CQADupstack: 100K<n<1M
• Quora: 100K<n<1M
• DBpedia: 1M<n<10M
• SCIDOCS: 10K<n<100K
• FEVER: 1M<n<10M
• Climate-FEVER: 1M<n<10M
• SciFact: 1K<n<10K

任务类别:

• 文本检索
• 零样本检索
• 信息检索
• 零样本信息检索

任务ID:

• 段落检索
• 实体链接检索
• 事实检查检索
• 推文检索
• 引用预测检索
• 重复问题检索
• 论点检索
• 新闻检索
• 生物医学信息检索
• 问答检索

数据集结构

数据实例:

• 语料库: .jsonl 文件，包含文档ID、标题和文本。
• 查询: .jsonl 文件，包含查询ID和文本。
• qrels: .tsv 文件，包含查询ID、文档ID和分数。

数据字段:

• 语料库: 文档ID、标题、文本。
• 查询: 查询ID、文本。
• qrels: 查询ID、文档ID、分数。

数据分割:

• 每个子数据集有不同的训练、验证和测试分割，具体大小和下载链接在README中提供。

数据集创建

许可信息: CC-BY-SA-4.0

引用信息:

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

贡献者: 感谢 @Nthakur20 添加此数据集。