BeIR/arguana-generated-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有数据集均为英文，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和相关性判断。数据集支持排行榜，用于评估模型在特定任务上的表现，如F1或EM分数，以及从维基百科中检索支持信息的能力。

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集总结

BEIR是一个异构基准，由18个不同数据集组成，代表9个信息检索任务，包括事实检查、问答、生物医学信息检索等。

支持的任务和排行榜

数据集支持的任务包括文本检索、零样本检索、信息检索等，共有12个任务类别。排行榜评估模型在特定任务上的表现，如F1或EM等指标。

语言

所有任务均使用英语。

数据集结构

数据实例

数据集包含三个主要部分：

• corpus：文档标题和文本内容。
• queries：查询文本。
• qrels：查询与文档的相关性评分。

数据字段

• corpus：包含文档ID、标题和文本。
• queries：包含查询ID和文本。
• qrels：包含查询ID、文档ID和相关性评分。

数据分割

数据集根据不同任务和数据集进行了分割，如MSMARCO、TREC-COVID等，每个数据集都有不同的训练、验证和测试分割。

数据集创建

来源数据

数据集由多个来源的数据组成，每个数据集都有其特定的数据收集和处理方式。

注释

数据集的注释过程和注释者信息未提供。

个人和敏感信息

数据集处理个人和敏感信息的方式未提供。

使用数据的考虑

数据集的社会影响

数据集的社会影响未提供。

偏见讨论

数据集中的偏见讨论未提供。

其他已知限制

数据集的其他已知限制未提供。

附加信息

数据集管理员

数据集管理员信息未提供。

许可信息

数据集使用CC-BY-SA-4.0许可。

引用信息

引用数据集时，应使用提供的引用格式。

贡献

感谢@Nthakur20为数据集的贡献。