BeIR/cqadupstack-generated-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索等。所有数据集都是英文的，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels三个部分，分别存储文档、查询和查询与文档的相关性判断。

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集总结

BEIR是一个异构基准，由18个不同数据集组成，代表9种信息检索任务，包括事实检查、问答、生物医学信息检索、新闻检索等。

支持的任务和排行榜

数据集支持排行榜，评估模型在特定任务上的表现，如F1或EM，以及从维基百科检索支持信息的能力。

语言

所有任务均使用英语。

数据集结构

数据实例

BEIR数据集包含三个主要部分：文档库、查询和相关性判断（qrels）。文档库和查询以.jsonl格式存储，qrels以.tsv格式存储。

数据字段

• 文档库: 包含文档ID、标题和文本。
• 查询: 包含查询ID和查询文本。
• qrels: 包含查询ID、文档ID和相关性评分。

数据分割

数据集根据不同任务被分割为训练、开发和测试集。每个数据集的大小和相关性判断数量各不相同。

数据集创建

来源数据

数据集由多个来源的数据组成，包括公开可用的数据集和特定的任务数据。

注释

数据集中的注释过程和注释者信息未详细说明。

个人和敏感信息

数据集中是否包含个人和敏感信息未详细说明。

使用数据的考虑

社会影响

数据集的社会影响未详细说明。

偏见讨论

数据集中的潜在偏见未详细说明。

其他已知限制

数据集的其他已知限制未详细说明。

附加信息

数据集管理员

数据集的管理员信息未详细说明。

许可信息

数据集遵循CC-BY-SA-4.0许可。

引用信息

引用此数据集时，应使用提供的引用格式。

贡献

感谢@Nthakur20为数据集的贡献。