BeIR/nq-generated-queries

BEIR Benchmark是一个异构的基准测试，包含了18个不同的数据集，代表了9种信息检索任务。这些数据集涵盖了事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索等多个领域。所有数据集都经过预处理，可以用于实验。数据集的结构包括语料库、查询和相关性判断文件，格式为JSONL和TSV。数据集支持的任务包括文本检索、零样本检索、信息检索和零样本信息检索等。

The BEIR Benchmark is a heterogeneous benchmark encompassing 18 distinct datasets covering 9 categories of information retrieval tasks. These datasets span a wide range of domains including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets have been preprocessed and are ready for experimental use. The datasets have a standardized structure consisting of corpus, query, and relevance judgment files, which are provided in both JSONL and TSV formats. The supported tasks include text retrieval, zero-shot retrieval, information retrieval, and zero-shot information retrieval, among others.

原始信息汇总

数据集概述

名称: BEIR Benchmark

描述: BEIR是一个异构基准，由18个不同数据集组成，涵盖9种信息检索任务。

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语

任务类别:

• 文本检索
• 零样本检索
• 信息检索
• 零样本信息检索

任务ID:

• 段落检索
• 实体链接检索
• 事实检查检索
• 推文检索
• 引用预测检索
• 重复问题检索
• 论点检索
• 新闻检索
• 生物医学信息检索
• 问答检索

数据集结构

数据实例格式:

• 语料库文件: .jsonl 格式，包含文档的唯一标识符、标题和文本。
• 查询文件: .jsonl 格式，包含查询的唯一标识符和文本。
• qrels文件: .tsv 格式，包含查询ID、文档ID和评分。

数据字段:

• 语料库: 包含文档ID、标题和文本。
• 查询: 包含查询ID和文本。
• qrels: 包含查询ID、文档ID和相关性评分。

数据集创建

来源数据: 未提供详细信息。

注释: 未提供详细信息。

个人和敏感信息: 未提供详细信息。

使用数据的考虑

社会影响: 未提供详细信息。

偏见讨论: 未提供详细信息。

其他已知限制: 未提供详细信息。

附加信息

数据集管理员: 未提供详细信息。

许可信息: 未提供详细信息。

引用信息:

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

贡献者: 感谢@Nthakur20添加此数据集。