BeIR/webis-touche2020-qrels

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有数据集均为英文，并已预处理，可用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集总结

BEIR 是一个异构基准，由18个不同的数据集组成，涵盖9个信息检索任务，包括事实检查、问答、生物医学信息检索、新闻检索等。

支持的任务和排行榜

该数据集支持排行榜，评估模型在特定任务上的表现，如F1或EM，以及从维基百科检索支持信息的能力。

语言

所有任务均为英语。

数据集结构

数据实例

BEIR数据集包含文档、查询和相关性判断文件，格式包括.jsonl和.tsv。

数据字段

• 文档: 包含唯一文档标识符、标题和文本内容。
• 查询: 包含唯一查询标识符和查询文本。
• 相关性判断: 包含查询标识符、文档标识符和相关性评分。

数据分割

数据集根据不同任务和数据集进行分割，如训练集、开发集和测试集。

数据集创建

来源数据

数据集由多个来源组成，每个来源都有其特定的数据格式和内容。

注释

数据集包含相关性判断，用于评估查询和文档的相关性。

个人和敏感信息

数据集处理中未提及个人和敏感信息的处理。

使用数据集的考虑

社会影响

未提供具体信息。

偏见讨论

未提供具体信息。

其他已知限制

未提供具体信息。

附加信息

数据集管理员

未提供具体信息。

许可信息

数据集遵循CC-BY-SA-4.0许可。

引用信息

引用该数据集时，应使用提供的引用格式。

贡献

感谢@Nthakur20为该数据集的贡献。