income/scifact-top-20-gen-queries

BEIR Benchmark是一个异构基准数据集，由18个不同数据集组成，涵盖9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有任务均使用英语。该数据集支持一个排行榜，用于评估模型针对特定任务指标的能力，以及从维基百科检索支持信息的能力。数据集结构包括语料库、查询和qrels，均采用特定格式。BEIR Benchmark is a heterogeneous benchmark dataset composed of 18 distinct datasets, covering 9 information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval and entity retrieval. All tasks are conducted in English. This dataset provides a leaderboard for evaluating models' performance on specific task metrics and their ability to retrieve supporting information from Wikipedia. The dataset structure includes corpus, queries and qrels, all following specific formats.

原始信息汇总

数据集概述

数据集基本信息

• 名称: BEIR Benchmark
• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语种

数据集大小分类

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

数据集结构

数据实例

• Corpus: 包含文档ID、标题和文本的JSONL文件。
• Queries: 包含查询ID和文本的JSONL文件。
• Qrels: 包含查询ID、文档ID和分数的TSV文件。

数据字段

• Corpus: 文档ID、标题和文本。
• Queries: 查询ID和文本。
• Qrels: 查询ID、文档ID和分数。

数据集创建

数据集来源

• BEIR: 包含18个不同数据集，用于9种信息检索任务。

使用数据集的考虑

数据集的社会影响

• 支持多种信息检索任务的评估。

数据集的偏见讨论

• 未提供具体信息。

其他已知限制

• 未提供具体信息。

附加信息

数据集贡献者

• 感谢@Nthakur20添加此数据集。

许可证信息

• CC-BY-SA-4.0

引用信息

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，合成查询生成技术常被用于增强文档的检索表征。本数据集源于BEIR基准测试中的SciFact子集，其构建过程采用了基于T5架构的查询生成模型（BeIR/query-gen-msmarco-t5-base-v1）。针对SciFact语料库中的每一篇文档，该模型通过DocT5query方法并行生成了20条合成查询，旨在模拟用户可能提出的多样化信息需求。这些生成的查询与原始文档ID一一对应，构成了一个用于评估检索模型泛化能力的增强型数据集。

特点

该数据集的核心特点在于其丰富的合成查询密度与领域针对性。每篇文档配备20条独立生成的查询，显著扩充了原始语料的查询空间，为训练或评估信息检索模型提供了更全面的监督信号。数据集专注于科学事实核查（SciFact）这一特定领域，其查询内容紧密围绕科学主张与证据的关联，体现了对学术文献检索场景的深度适配。此外，所有数据均遵循CC-BY-SA-4.0许可协议，确保了开放共享与可复现性。

使用方法

本数据集适用于信息检索模型的零样本评估与训练增强。使用者可直接加载JSONL格式的查询-文档映射对，将生成的合成查询作为文档的扩展表征，用于优化检索器的语义匹配能力。典型应用包括：利用这些查询对密集检索模型（如DPR、ColBERT）进行对比学习微调，或作为稀疏检索方法（如BM25）的查询扩展来源。结合BEIR基准框架，研究者可系统评估模型在科学文献检索任务上的泛化表现。

背景与挑战

背景概述

在信息检索领域，零样本迁移能力一直是评估模型泛化性能的关键指标。2021年，由加拿大滑铁卢大学的Nandan Thakur、德国达姆施塔特工业大学的Nils Reimers与Iryna Gurevych等学者联合构建的BEIR基准测试应运而生，该基准整合了涵盖事实核查、问答、生物医学检索等九类任务的18个数据集，旨在系统性地衡量检索模型在未见领域上的表现。其中，SciFact数据集作为事实核查子集，专注于科学主张的证据检索，其语料库包含约5000篇来自生物医学领域的论文片段。本数据集在此基础上，利用DocT5query模型为每篇文档生成了20条合成查询，进一步丰富了训练数据的多样性，为提升检索模型在科学文献场景中的鲁棒性提供了重要资源。

当前挑战

当前数据集面临的核心挑战体现在两个层面。其一，科学文献检索本身具有高度领域特异性，事实核查任务要求模型精准匹配细粒度的证据片段，而SciFact语料库规模较小（仅5K文档），易导致模型过拟合或泛化不足。其二，合成查询的生成过程引入了噪声风险——基于MS MARCO训练的DocT5query模型在迁移至生物医学领域时，可能产生与原文语义偏离的伪查询，从而误导检索器的训练。此外，20条合成查询的固定数量无法覆盖所有可能的查询变体，限制了模型对真实用户多样化提问方式的适应能力。这些挑战使得在保持零样本迁移优势的同时，提升检索精度与领域适配性成为亟需突破的瓶颈。

常用场景

经典使用场景

该数据集是BEIR基准测试框架中NFCorpus子集的扩展版本，专为信息检索领域的零样本评估而设计。其核心应用在于为每篇医学文献段落生成20条合成查询，从而构建起一个丰富的文档-查询对集合。研究者通常利用这一资源来训练和评估基于深度学习的检索模型，特别是那些采用DocT5query等生成式方法的模型，通过模拟用户可能的提问方式，显著提升模型在稀疏检索场景下的召回能力。

实际应用

在实际应用中，该数据集所支撑的技术可被广泛应用于生物医学文献检索、临床决策支持系统以及学术搜索引擎的构建。例如，医生或科研人员可以通过自然语言提问，快速从海量医学论文中定位到最相关的证据段落，极大缩短信息获取的时间。此外，该数据集衍生的检索模型还可嵌入到电子病历系统中，辅助医生进行诊断推理或治疗方案推荐，从而提升医疗服务的效率与质量。

衍生相关工作

该数据集衍生了一系列影响深远的经典工作，其中最引人注目的是DocT5query框架的提出与完善。研究者基于该数据集验证了使用T5模型进行文档级查询生成的可行性，并进一步探索了对比学习、稠密检索与稀疏检索的融合策略。此外，该数据集还催生了BEIR基准测试的标准化评估流程，为后续诸如Contriever、SPLADE等先进检索模型的性能对比提供了可靠平台，推动了信息检索领域从单一任务评测向多任务、多领域泛化能力评估的范式转变。