income/cqadupstack-unix-top-20-gen-queries

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，涵盖了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索。所有数据集都经过预处理，可用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。

The BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, covering 9 types of information retrieval tasks including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets have been preprocessed and are ready for experimental use. The dataset structure includes corpus, queries, and qrels files, which are respectively used to store documents, queries, and relevance judgments between queries and documents.

原始信息汇总

BEIR Benchmark 数据集概述

数据集基本信息

• 名称: BEIR Benchmark
• 别名: BEIR
• 许可证: CC-BY-SA-4.0
• 语言: 英语 (en)
• 多语言性: 单语
• 数据集大小:
  • msmarco, nq, hotpotqa, dbpedia, fever, climate-fever: 1M<n<10M
  • trec-covid, touche-2020, cqadupstack, scidocs, scifact: 100k<n<1M
  • nfcorpus, arguana: 1K<n<10K
  • fiqa: 10K<n<100K

数据集内容

任务类型

• 文本检索

数据集结构

• 文档集 (corpus): .jsonl 文件，包含文档的唯一标识符 (_id)、标题 (title) 和文本内容 (text)。
• 查询集 (queries): .jsonl 文件，包含查询的唯一标识符 (_id) 和查询文本 (text)。
• 相关性判断 (qrels): .tsv 文件，包含查询标识符 (query-id)、文档标识符 (corpus-id) 和相关性分数 (score)。

数据实例

• 文档示例: 包含文档的唯一标识符、标题和文本内容。
• 查询示例: 包含查询的唯一标识符和查询文本。
• 相关性判断示例: 包含查询与文档的对应关系及分数。

数据集创建

• 来源数据: 来自18个不同的数据集，涵盖9种信息检索任务。
• 数据预处理: 所有数据集均已预处理，可直接用于实验。

使用注意事项

• 数据集支持的任务包括事实验证、问答、生物医学信息检索等。
• 数据集中的所有任务均为英语。
• 数据集遵循CC-BY-SA-4.0许可证。

附加信息

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

搜集汇总

数据集介绍

构建方式

在信息检索领域，合成查询生成技术为评估模型性能提供了新的维度。本数据集基于BEIR基准中的NFCorpus子集，采用DocT5query模型（BeIR/query-gen-msmarco-t5-base-v1）为每个文档段落自动生成20条查询。生成过程借助evaluate_anserini_docT5query_parallel.py脚本实现，确保了查询的多样性与语义相关性，为无监督或零样本检索任务提供了丰富的查询资源。

特点

该数据集作为BEIR异构基准的组成部分，专注于生物医学信息检索场景，其查询全部由预训练语言模型生成，避免了人工标注的主观偏差。每条文档对应20条合成查询，覆盖了多样化的表达方式与潜在信息需求，增强了检索模型在零样本设置下的泛化能力。数据集遵循标准化的JSONL与TSV格式，便于与现有检索框架无缝集成，并支持跨任务性能对比。

使用方法

研究人员可将该数据集直接应用于信息检索模型的训练与评估，尤其适合零样本或稀疏监督场景。通过加载预生成的查询文件，结合原始文档语料库与相关性标注，能够快速构建检索实验流水线。数据集兼容Anserini等主流检索工具，用户可参照BEIR官方代码库中的示例脚本，进行模型性能测试与基准比较，以推动生物医学文本检索技术的创新。

背景与挑战

背景概述

信息检索领域长期面临模型泛化能力不足的挑战，传统评估多局限于单一任务或领域。为应对这一局限，BEIR基准数据集于2021年由Nandan Thakur等学者构建，汇集了涵盖事实核查、问答、生物医学检索等九大任务的十八个异构数据集。该基准旨在为零样本信息检索模型提供统一的评估平台，其核心研究问题在于探究模型在未见任务与领域中的泛化性能。BEIR的建立显著推动了检索模型从狭隘的领域适应向广泛通用能力的演进，成为衡量现代检索系统鲁棒性与普适性的重要标尺。

当前挑战

BEIR基准致力于解决信息检索模型在零样本场景下的泛化挑战，其核心在于模型能否在多样化的任务与领域间保持稳定的检索效能。这一挑战具体体现在模型需跨越从生物医学文献到社交媒体文本的领域鸿沟，并适应事实核查、实体检索等迥异的任务形态。在数据集构建过程中，挑战主要源于异构数据的整合与标准化，包括统一不同来源的数据格式、处理规模与质量各异的语料，以及确保评估协议的一致性与可比性。此外，生成式查询的引入虽能扩充数据，但亦需确保合成查询的语义忠实性与多样性，以避免评估偏差。

常用场景

经典使用场景

在信息检索领域，评估模型在零样本场景下的泛化能力是核心挑战。该数据集作为BEIR基准的一部分，通过为生物医学文献中的每个段落生成20条合成查询，构建了丰富的检索任务实例。这些查询由DocT5query模型自动生成，模拟了真实用户可能提出的多样化信息需求，从而为检索模型提供了标准化的测试环境，尤其适用于评估模型在未见过的领域或任务上的表现。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在零样本检索模型的设计与评估框架的完善。例如，SPLADE、DPR等密集检索模型均在BEIR基准上进行了广泛测试，以验证其跨任务性能。同时，像Contriever、GTR等通用检索模型也利用此类异构数据实现了强大的零样本迁移能力。在方法论层面，研究社区提出了如BEIR Score等综合评估指标，以及针对生成查询的质量分析与增强技术，进一步推动了检索评估的标准化与模型创新。

数据集最近研究

最新研究方向

在信息检索领域，BEIR基准作为异构评估框架，其最新研究聚焦于零样本检索模型的泛化能力与跨领域适应性。当前前沿探索围绕生成式查询增强技术展开，特别是利用DocT5query等模型为文档自动生成多样化查询，以缓解标注数据稀缺的瓶颈。这一方向与大规模预训练语言模型的兴起紧密相连，推动了检索系统在生物医学、事实核查等专业场景中的实用化进程。相关研究不仅提升了模型在复杂语义匹配任务中的表现，也为构建更鲁棒、可扩展的检索生态系统提供了关键数据支撑，对人工智能在知识密集型应用中的发展具有深远意义。