BeIR/climate-fever-qrels

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索等。所有数据集均为英文，并且已经过预处理，可以直接用于实验。数据集的结构包括corpus、queries和qrels三个部分，分别存储文档、查询和查询与文档的相关性判断。

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集摘要

BEIR 是一个异构基准，由18个不同数据集组成，代表9种信息检索任务。这些任务包括事实检查、问答、生物医学信息检索、新闻检索、论点检索等。所有这些数据集都已预处理，可供实验使用。

支持的任务和排行榜

数据集支持排行榜，评估模型在特定任务上的表现，如F1或EM，以及从维基百科检索支持信息的能力。当前最佳模型可在排行榜上找到。

语言

所有任务均使用英语。

数据集结构

数据实例

BEIR数据集包含三个主要部分：corpus（文档库）、queries（查询）和qrels（相关性判断文件）。每个部分都有特定的格式和内容。

数据字段

• Corpus: 包含文档的唯一标识符、标题和文本内容。
• Queries: 包含查询的唯一标识符和文本内容。
• Qrels: 包含查询标识符、文档标识符和相关性评分。

数据分割

数据集根据不同任务和数据源进行分割，每个分割都有其特定的查询数量、文档数量和相关性判断。

数据集创建

来源数据

数据集由多个不同的源数据集组成，每个源数据集都有其特定的任务和数据格式。

许可信息

数据集遵循CC-BY-SA-4.0许可协议。

引用信息

引用此数据集时，应使用提供的引用格式。

贡献者

感谢@Nthakur20为数据集的贡献。