income/cqadupstack-webmasters-top-20-gen-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索。所有数据集均已预处理，可用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性评分。所有任务均为英文。

BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets have been preprocessed and are ready for experimental use. The dataset structure includes corpus, queries, and qrels files, which are respectively used to store documents, queries, and relevance scores between queries and documents. All tasks are in English.

原始信息汇总

数据集概述

数据集名称

• 名称: BEIR Benchmark
• 别名: BEIR

数据集基本信息

• 语言: 英语 (en)
• 许可证: CC-BY-SA-4.0
• 多语言性: 单语种

数据集大小

• MSMARCO: 1M<n<10M
• TREC-COVID: 100k<n<1M
• NFCorpus: 1K<n<10K
• NQ: 1M<n<10M
• HotpotQA: 1M<n<10M
• FiQA: 10K<n<100K
• ArguAna: 1K<n<10K
• Touche-2020: 100K<n<1M
• CQADupstack: 100K<n<1M
• Quora: 100K<n<1M
• DBpedia: 1M<n<10M
• SciDocs: 10K<n<100K
• FEVER: 1M<n<10M
• Climate-FEVER: 1M<n<10M
• SciFact: 1K<n<10K

数据集结构

• 文件格式:
  • corpus: .jsonl (jsonlines)
  • queries: .jsonl (jsonlines)
  • qrels: .tsv (tab-separated)

数据集内容

• 任务类型: 文本检索
• 数据实例:
  • Corpus: 包含文档ID、标题和文本内容
  • Queries: 包含查询ID和查询文本
  • Qrels: 包含查询ID、文档ID和相关性评分

数据集创建

• 来源数据: 来自18个不同数据集，涵盖9种信息检索任务
• 数据预处理: 所有数据集均已预处理，可供实验使用

使用注意事项

• 社会影响: 未提供详细信息
• 偏见讨论: 未提供详细信息
• 其他已知限制: 未提供详细信息

附加信息

• 数据集维护者: 未提供详细信息
• 许可证信息: CC-BY-SA-4.0
• 引用信息: 提供了一个引用格式
• 贡献者: 感谢@Nthakur20

搜集汇总

数据集介绍

构建方式

该数据集源自BEIR基准测试中的NFCorpus子集，通过DocT5query模型（BeIR/query-gen-msmarco-t5-base-v1）为每个文档段落生成20条合成查询。生成过程基于Anserini框架的并行评估脚本，旨在丰富文档的查询表示，增强信息检索任务的训练数据多样性。数据集以JSON格式存储，包含文档唯一标识符及对应的20条生成问题，属于BEIR基准测试的扩展资源。

特点

数据集的核心特点在于其专注于生物医学领域的NFCorpus语料库，并利用先进的序列到序列模型生成高质量合成查询。每个文档配备20条查询，大幅提升了查询覆盖的广度和语义多样性。作为BEIR基准的一部分，它支持零样本信息检索模型的评估，涵盖事实核查、问答、医学检索等多任务场景，语言为英文，规模在1K至10K文档之间，适合小规模但高精度的检索实验。

使用方法

使用该数据集时，用户可结合BEIR基准的标准结构，将生成的查询与原始语料库及相关性判断文件（qrels）配合。通过加载JSON格式的查询文件，研究者可将其用于训练或评估信息检索模型，例如基于稠密向量或稀疏表示的检索系统。推荐采用HuggingFace的datasets库加载数据，并参考BEIR官方示例代码进行模型微调或零样本测试，以验证模型在生物医学文本检索中的泛化能力。

背景与挑战

背景概述

在信息检索领域，零样本泛化能力是衡量模型鲁棒性的关键指标。BEIR基准测试由Nandan Thakur、Nils Reimers等研究者于2021年提出，旨在构建一个覆盖9类检索任务、18个异构数据集的统一评估框架，以揭示现有模型在未见任务上的性能退化问题。作为BEIR框架的核心子集，该数据集聚焦于生物医学文本检索，通过为NFCorpus中的每个段落生成20条合成查询，模拟真实世界中用户查询的多样性与复杂性。这一设计不仅填补了生物医学领域缺乏大规模查询生成数据的空白，还为评估检索模型在专业术语密集、语义关联微妙的场景下的表现提供了标准化平台，推动了信息检索技术向更通用的方向发展。

当前挑战

该数据集面临的双重挑战体现在领域特性与构建方法论上。在领域层面，生物医学文本检索需应对专业术语的歧义性、长尾实体稀疏性以及查询与文档间隐式语义关联的捕获难题，例如临床问题与科研文献间的跨粒度匹配。在构建过程中，采用DocT5query模型生成合成查询时，模型对领域知识的依赖性导致部分生成查询偏离真实用户意图；同时，为每个段落生成固定20条查询的策略虽保证了数据规模，却可能引入冗余或噪声，削弱查询分布的多样性。此外，如何平衡合成查询的覆盖度与准确性，以及验证其在下游任务中的迁移效果，仍是亟待突破的技术瓶颈。

常用场景

经典使用场景

在信息检索领域，该数据集作为BEIR基准测试的重要组成部分，为跨领域零样本检索模型的评估提供了标准化平台。其经典用法在于利用NFCorpus的生物医学文本语料，结合DocT5query模型生成的20条合成查询，对稠密检索与稀疏检索模型在医学文献中的泛化能力进行系统性评测。研究者通过对比模型在原始查询与生成查询上的表现差异，可深入分析检索系统对查询表述多样性的鲁棒性，从而推动检索算法在低资源医学场景中的适应性优化。

解决学术问题

该数据集直面信息检索领域长期存在的零样本迁移难题，即模型在未见过的领域或任务中性能急剧下降的困境。通过整合涵盖事实核查、问答、生物医学检索等9类任务的18个异构数据集，它构建了首个大规模跨领域检索基准，系统性地揭示了现有模型在领域漂移下的脆弱性。这一贡献不仅量化了不同检索架构的泛化边界，更催生了针对域适应与预训练策略的系列研究，为构建通用检索框架奠定了评估基石。

衍生相关工作

该数据集衍生了一系列具有里程碑意义的研究工作，包括但不限于：ColBERT-v2利用其评估框架验证了延迟交互架构在零样本场景下的优越性；SPLADE-v2通过稀疏化词项权重证明了可解释检索的潜力；而GTR（通用文本检索器）则基于其多任务训练范式实现了检索模型的跨域泛化突破。这些工作共同推动了检索领域从专用模型向通用基座的范式转变，深刻影响了后续密集检索与混合检索技术的发展轨迹。