BeIR/scidocs-generated-queries

BEIR Benchmark 是一个异构的基准测试，包含了来自18个不同数据集的9种信息检索任务。这些数据集涵盖了事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索等多个领域。所有数据集都经过预处理，可以直接用于实验。数据集支持的任务包括文本检索、零样本检索、信息检索和零样本信息检索等。数据集的结构包括语料库、查询和相关性判断文件，格式为JSONL和TSV。数据集的所有任务均为英文。

The BEIR Benchmark is a heterogeneous benchmark encompassing 9 information retrieval tasks sourced from 18 distinct datasets. These datasets cover multiple domains including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets have been preprocessed and are directly usable for experimental purposes. The supported tasks include text retrieval, zero-shot retrieval, information retrieval, and zero-shot information retrieval, among others. The benchmark's structure comprises corpus, query, and relevance judgment files available in both JSONL and TSV formats. All tasks in this benchmark are in English.

原始信息汇总

BEIR Benchmark 数据集概述

数据集描述

数据集概要

BEIR是一个异构基准，由18个不同数据集组成，涵盖9个信息检索任务。这些任务包括事实检查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。

支持的任务和排行榜

数据集支持针对特定任务的排行榜，评估模型在F1或EM等指标上的表现，以及从维基百科检索支持信息的能力。当前最佳模型的表现可以在此处查看。

语言

所有任务均使用英语（en）。

数据集结构

数据实例

BEIR数据集包含三个主要部分：corpus（文档库）、queries（查询）和qrels（相关性判断文件）。每个部分都有特定的格式和内容。

数据字段

• corpus: 包含文档的唯一标识符、标题和文本内容。
• queries: 包含查询的唯一标识符和文本内容。
• qrels: 包含查询标识符、文档标识符和相关性评分。

数据分割

数据集根据不同任务被分割为训练、开发和测试集。每个数据集的大小和相关性评分各不相同，具体信息可参考数据集详情页。

数据集创建

数据集来源

数据集由多个源数据集组成，每个源数据集都有其特定的任务和领域。

许可证信息

数据集遵循cc-by-sa-4.0许可证。

引用信息

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

搜集汇总

数据集介绍

构建方式

BeIR/scidocs-generated-queries 数据集隶属于 BEIR 基准测试框架，该框架整合了涵盖9类信息检索任务的18个异构数据集。SCIDOCS 子集专为引文预测任务设计，其语料库包含约25,000篇科学文献，并配备1,000条查询及其对应的相关性判断（qrels）。数据构建遵循 BEIR 的标准化格式：语料库以 JSONL 格式存储，每条记录包含文档唯一标识符、标题和正文；查询文件同样采用 JSONL 格式，记录查询标识符与文本；相关性判断文件则以 TSV 格式呈现查询-文档对及其评分。这种结构化的构建方式确保了数据集在多任务评估中的一致性和可复现性。

特点

该数据集的核心特点在于其作为零样本信息检索评估基准的异构性。SCIDOCS 子集聚焦于科学文献领域的引文预测，查询与文档均源自学术论文，体现了对专业领域检索任务的针对性设计。数据集的规模适中，语料库约25K文档，查询数为1,000，每个查询平均关联4.9个相关文档，这种密度分布为评估模型在稀疏相关性场景下的表现提供了理想测试环境。此外，BEIR 框架统一了多任务格式，使得 SCIDOCS 能够与其他17个任务无缝集成，支持跨领域泛化能力的系统评测。

使用方法

使用该数据集时，研究者可直接从 BEIR 官方仓库下载预处理的 SCIDOCS 子集。加载数据需遵循 BEIR 库的接口规范：首先通过 load_dataset 函数导入语料库、查询和 qrels 三部分；随后利用内置的评估工具进行检索实验。典型流程包括将语料库索引化、对查询执行检索、计算如 NDCG 或 MAP 等标准指标。由于数据集已统一为 JSONL 和 TSV 格式，用户无需额外清洗，可专注于模型微调或零样本评估。推荐结合 BEIR 基准的其他子集进行多任务对比，以全面衡量检索系统的鲁棒性。

背景与挑战

背景概述

在信息检索领域，零样本泛化能力一直是衡量模型鲁棒性与实用性的关键指标。BEIR（Benchmark for Zero-shot Evaluation of Information Retrieval）基准数据集由加拿大滑铁卢大学与德国达姆施塔特工业大学的研究人员于2021年联合构建，核心研究问题在于评估检索模型在未见过的任务与领域上的迁移表现。该数据集整合了18个覆盖事实核查、问答、生物医学检索、新闻检索等9类任务的子数据集，如SCIDOCS、FEVER与TREC-COVID等，为跨领域零样本检索提供了统一的评估框架。BEIR的发布显著推动了密集检索与稀疏检索方法的对比研究，其影响力体现在成为NeurIPS 2021 Datasets and Benchmarks Track的收录工作，并催生了多个后续基准与模型改进方向。

当前挑战

BEIR数据集所解决的领域挑战在于信息检索系统面对异构任务时的泛化瓶颈，例如SCIDOCS子集聚焦于科学文献的引用预测，要求模型从25K篇论文中精准匹配1,000条查询，这对语义理解与领域适应性提出了严苛要求。构建过程中，挑战主要体现在多源数据的标准化融合：需统一18个来源各异的数据格式（如TREC-COVID的医学文献与Quora的问答对），并确保查询-文档相关性判断（qrels）的跨任务一致性，同时避免因数据规模差异（如NFCorpus仅3.6K文档而MSMARCO达8.84M）导致的评估偏差。此外，零样本设定下模型对未见任务（如论证检索中的Touche-2020）的适应能力缺乏先验知识，进一步加剧了评估的复杂性。

常用场景

经典使用场景

在信息检索与自然语言处理领域，BeIR/scidocs-generated-queries 数据集常被用于评估检索模型在零样本场景下的泛化能力。该数据集源自科学文献索引（SCIDOCS），涵盖学术论文的标题与摘要，并配以自动生成的查询，为研究者提供了一种模拟真实科研信息检索的标准化测试平台。其经典用法是作为跨领域检索的基准，衡量模型在未见过的学术语料中定位相关文献的效能，尤其关注模型对专业术语与复杂语义关系的理解程度。

实际应用

在实际应用中，该数据集赋能了科研文献管理系统的智能化升级。通过在此基准上优化的模型，学术搜索引擎能更精准地匹配研究者查询与相关论文，尤其在跨学科场景中显著降低信息遗漏风险。此外，该数据集还用于构建自动文献综述生成工具，辅助科研人员快速定位核心文献，提升知识发现效率。在专利检索、技术情报分析等领域，基于此数据集训练的模型亦展现出强大的迁移能力，助力企业从海量文本中萃取关键技术脉络。

衍生相关工作

该数据集衍生了一系列具有里程碑意义的研究工作。例如，基于 BEIR 基准的密集检索模型（如 Contriever、SPLADE）通过在此数据集上的零样本评测，验证了其跨领域泛化优势。后续工作如 GPL 利用生成式伪标签进行域适应训练，显著提升了模型在 SCIDOCS 子集上的检索精度。此外，多语言检索模型（如 mContriever）的零样本能力亦在此数据集上得到系统验证，推动了多语言科学文献检索的进步。这些工作共同构成了信息检索领域从监督学习向零样本泛化范式转型的关键驱动力。