BeIR/hotpotqa-qrels

BEIR Benchmark是一个异构基准，由18个不同的数据集组成，代表了9种信息检索任务，包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引用预测、推文检索和实体检索。所有数据集均为英文，并已预处理，可用于实验。数据集结构包括corpus、queries和qrels文件，格式为jsonl和tsv。BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets, representing 9 information retrieval tasks, including fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets are in English and have been preprocessed for experimental use. The dataset structure includes corpus, queries, and qrels files, available in jsonl and tsv formats.

原始信息汇总

数据集概述

名称: BEIR Benchmark

语言: 英语 (en)

许可证: CC-BY-SA-4.0

多语言性: 单语

大小:

• MSMARCO: 1M<n<10M
• TREC-COVID: 100k<n<1M
• NFCorpus: 1K<n<10K
• NQ: 1M<n<10M
• HotpotQA: 1M<n<10M
• FiQA: 10K<n<100K
• ArguAna: 1K<n<10K
• Touche-2020: 100K<n<1M
• CQADupstack: 100K<n<1M
• Quora: 100K<n<1M
• DBpedia: 1M<n<10M
• SCIDOCS: 10K<n<100K
• FEVER: 1M<n<10M
• Climate-FEVER: 1M<n<10M
• SciFact: 1K<n<10K

任务类别:

• 文本检索
• 零样本检索
• 信息检索
• 零样本信息检索

任务ID:

• 段落检索
• 实体链接检索
• 事实检查检索
• 推文检索
• 引用预测检索
• 重复问题检索
• 论证检索
• 新闻检索
• 生物医学信息检索
• 问答检索

数据集结构

数据实例:

• 语料库: .jsonl 文件，包含文档的唯一标识符、标题和文本。
• 查询: .jsonl 文件，包含查询的唯一标识符和文本。
• qrels: .tsv 文件，包含查询ID、文档ID和分数。

数据集创建

许可证信息: CC-BY-SA-4.0

引用信息:

@inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

搜集汇总

数据集介绍

构建方式

BeIR/hotpotqa-qrels 数据集隶属于 BEIR 基准测试框架，该框架旨在评估信息检索模型在零样本场景下的泛化能力。HotpotQA 作为其中一项面向问答任务的子集，其构建源自多跳推理的 Wikipedia 语料库。数据集遵循 BEIR 统一规范，包含三个核心组件：corpus（语料库）以 JSONL 格式存储，每条记录由唯一标识符 _id、文档标题 title 及段落文本 text 构成；queries（查询集）同样采用 JSONL 格式，包含查询标识 _id 与查询文本 text；qrels（相关性判断）以 TSV 文件记录查询与文档间的二元或分级相关性得分。通过将原始 HotpotQA 数据标准化为这一结构化形式，确保了跨任务的可比性与复现性。

特点

该数据集的核心特点在于其多源异构性与零样本评估导向。作为 BEIR 基准的一部分，HotpotQA 子集聚焦于多跳问题回答，要求模型从海量 Wikipedia 段落中检索支持多步推理的证据。数据集规模庞大，涵盖约 7405 条查询与超过 523 万篇文档，平均每个查询对应约 2 个相关文档（Rel D/Q），体现了多跳任务的复杂性。此外，其语料库与查询均基于英文，适用于单语检索场景。数据划分包含训练、开发与测试集，便于模型开发与标准化评测。整体上，该数据集不仅测试检索精度，更挑战模型在零样本条件下跨领域迁移的鲁棒性。

使用方法

使用 BeIR/hotpotqa-qrels 数据集时，研究者需遵循 BEIR 框架的标准化流程。首先，通过 Hugging Face Datasets 库加载数据，获取 corpus、queries 与 qrels 三部分。随后，利用预训练检索模型（如基于 Transformer 的稠密检索器）对 queries 与 corpus 进行编码，计算相似度得分并排序。评估阶段，可借助 BEIR 提供的评测脚本，基于 qrels 计算 NDCG@10、Recall@100 等指标，以衡量模型在零样本检索任务上的表现。对于多跳推理场景，建议结合重排序或图神经网络等进阶技术，以提升证据链的召回能力。数据可直接用于微调或作为基准对比，无需额外预处理。

背景与挑战

背景概述

在信息检索领域，评估模型的泛化能力与跨任务迁移性能一直是研究的核心挑战。2021年，由加拿大滑铁卢大学、德国达姆施塔特工业大学等机构的Nandan Thakur、Nils Reimers等研究人员共同构建了BEIR（Benchmark for Zero-shot Evaluation of Information Retrieval）基准数据集。该数据集旨在系统性地评估信息检索模型在零样本场景下的表现，即模型在没有经过特定任务训练数据的情况下，能否从海量文本中精准检索出相关信息。BEIR整合了18个涵盖9类信息检索任务的子数据集，包括事实核查、问答、生物医学检索、新闻检索、论点检索、重复问题检测、引文预测、推文检索及实体检索，如HotpotQA、FEVER、TREC-COVID等。其影响力在于为信息检索领域提供了一个标准化、多样化的评估平台，推动了密集检索模型（如DPR、ColBERT）及预训练语言模型（如Sentence-BERT）在零样本检索任务上的性能突破，成为NeurIPS 2021数据集与基准轨道的亮点工作。

当前挑战

BEIR数据集所面临的挑战体现在领域问题与构建过程两个层面。在领域问题上，其核心挑战在于零样本检索的鲁棒性：模型需在未见过的任务类型（如从问答切换到事实核查）和领域（如从新闻到生物医学）中保持高效检索，而现有模型常因领域偏移导致性能显著下降。例如，在HotpotQA的多跳问答检索中，模型需从超500万文档中定位支持多个推理步骤的段落，对语义理解与上下文关联能力要求极高。在构建过程中，挑战在于数据异构性的统一处理：18个子数据集来源多样，原始格式、标注粒度（如相关性评分从二元到多级）和查询复杂度（如单跳与多跳问题）差异巨大。研究团队需设计标准化预处理流程，将不同语料库、查询集和相关性判断（qrels）统一为JSONL和TSV格式，同时保持各任务原始特性的平衡，以避免引入偏差。此外，部分数据集（如BioASQ、TREC-NEWS）因版权或访问限制无法直接分发，需提供可复现的构建脚本，增加了基准的维护复杂度。

常用场景

经典使用场景

在信息检索与自然语言处理领域，BeIR/hotpotqa-qrels作为BEIR基准测试套件的关键组成部分，被广泛用于评估检索模型在零样本场景下的泛化能力。该数据集源自HotpotQA，聚焦于多跳问答任务，要求模型从海量维基百科段落中精准定位支持给定问题的多个证据片段。研究者常将其作为衡量检索器能否跨越单步推理、实现复杂语义匹配的试金石，通过与查询相关的相关性判断（qrels）文件，系统性地测试模型对多源信息整合的检索性能。这一经典用法不仅验证了模型的鲁棒性，更推动了跨任务检索范式的标准化评估流程。

实际应用

在实际应用中，BeIR/hotpotqa-qrels的场景模拟了智能问答系统与知识图谱构建的核心需求。例如，在医疗诊断辅助中，系统需从多份病历或文献中检索关联证据以回答复合型问题；在法律文书分析中，需跨文档定位支持判决的条款与案例。该数据集的评估框架直接指导了搜索引擎、对话式AI及企业知识库的检索模块设计，使模型能够适应查询意图多变、证据分散的真实场景，从而提升信息获取的效率与准确性，降低人工筛选成本。

衍生相关工作

基于BeIR/hotpotqa-qrels，学术界涌现了一系列标志性工作。例如，Sentence-BERT与DPR（Dense Passage Retrieval）等模型在此基准上验证了双编码器架构对多跳检索的有效性；后续的SPLADE与ColBERT-v2等稀疏-密集混合方法进一步优化了零样本迁移能力。此外，该数据集催生了针对检索结果可解释性的研究，如证据链可视化与注意力机制分析，以及面向多任务联合训练的Meta-learning策略，这些工作共同推动了信息检索从单步匹配向复杂推理的范式跃迁。