BeIR/dbpedia-entity-qrels

BEIR Benchmark是一个异构的基准测试，由18个不同的数据集组成，代表了9种信息检索任务。这些任务包括事实核查、问答、生物医学信息检索、新闻检索、论点检索、重复问题检索、引文预测、推文检索和实体检索。所有数据集都经过预处理，可以用于实验。数据集的结构包括corpus、queries和qrels文件，分别用于存储文档、查询和查询与文档的相关性判断。所有任务均为英文。

The BEIR Benchmark is a heterogeneous benchmark composed of 18 distinct datasets covering 9 information retrieval tasks. These tasks include fact checking, question answering, biomedical information retrieval, news retrieval, argument retrieval, duplicate question retrieval, citation prediction, tweet retrieval, and entity retrieval. All datasets have been preprocessed and are ready for experimental use. The datasets adopt a standardized structure consisting of corpus, queries, and qrels files, which are respectively used to store documents, queries, and relevance judgments between queries and documents. All tasks are conducted in English.

原始信息汇总

数据集概述

数据集名称

• 名称: BEIR Benchmark
• 别名: BEIR
• paperswithcode_id: beir

数据集属性

• 语言: 英语 (en)
• 许可证: cc-by-sa-4.0
• 多语言性: 单语

数据集大小

• msmarco: 1M<n<10M
• trec-covid: 100k<n<1M
• nfcorpus: 1K<n<10K
• nq: 1M<n<10M
• hotpotqa: 1M<n<10M
• fiqa: 10K<n<100K
• arguana: 1K<n<10K
• touche-2020: 100K<n<1M
• cqadupstack: 100K<n<1M
• quora: 100K<n<1M
• dbpedia: 1M<n<10M
• scidocs: 10K<n<100K
• fever: 1M<n<10M
• climate-fever: 1M<n<10M
• scifact: 1K<n<10K

支持的任务

• 任务类别:
  • 文本检索
  • 零样本检索
  • 信息检索
  • 零样本信息检索
• 任务ID:
  • 段落检索
  • 实体链接检索
  • 事实检查检索
  • 推文检索
  • 引用预测检索
  • 重复问题检索
  • 论点检索
  • 新闻检索
  • 生物医学信息检索
  • 问答检索

数据集结构

• 数据实例格式:
  • corpus: .jsonl 文件，包含文档标题和文本
  • queries: .jsonl 文件，包含查询文本
  • qrels: .tsv 文件，包含查询与文档的关联分数

数据集创建

• 许可证信息: cc-by-sa-4.0

• 引用信息:

  @inproceedings{ thakur2021beir, title={{BEIR}: A Heterogeneous Benchmark for Zero-shot Evaluation of Information Retrieval Models}, author={Nandan Thakur and Nils Reimers and Andreas R{"u}ckl{e} and Abhishek Srivastava and Iryna Gurevych}, booktitle={Thirty-fifth Conference on Neural Information Processing Systems Datasets and Benchmarks Track (Round 2)}, year={2021}, url={https://openreview.net/forum?id=wCu6T5xFjeJ} }

贡献者

• 贡献者: @Nthakur20

搜集汇总

数据集介绍

构建方式

在信息检索领域，零样本迁移评价是衡量模型泛化能力的关键挑战。BeIR/dbpedia-entity-qrels数据集作为BEIR基准测试的一部分，旨在为实体检索任务提供标准化的评估资源。其构建过程严谨而系统：首先，从DBpedia知识图谱中提取大规模实体语料库，涵盖约463万个实体文档；其次，精心设计400条查询语句，覆盖多种实体类型与关系；最后，通过人工标注与自动验证相结合的方式，生成查询与文档之间的相关性判断文件（qrels），每条查询平均对应38.2个相关文档，确保了评估的可靠性与区分度。

特点

该数据集展现出鲜明的结构化特征与领域适配性。作为实体检索的专用基准，其语料库以知识图谱实体为基本单元，每个文档包含实体标题与描述文本，形成语义丰富的检索空间。查询设计聚焦于实体链接与知识发现，如人物、地点、事件等，与现实应用场景高度契合。数据规模上，百万级语料库与数百条查询的配置，既保证了统计显著性，又控制了评估成本。此外，作为BEIR基准的组成部分，该数据集支持零样本评价范式，能够有效检验检索模型在未见领域上的迁移能力。

使用方法

使用该数据集进行模型评估时，需遵循BEIR框架的标准流程。研究者首先加载预处理的语料库（corpus.jsonl）、查询集（queries.jsonl）和相关性标注（qrels.tsv），其中语料库包含文档标识符、标题与文本字段，查询集包含查询标识符与文本，qrels文件则记录查询-文档的相关性得分。典型应用包括：利用检索模型对查询进行编码，在语料库中执行相似度搜索，生成排序结果；再通过NDCG、MAP、Recall等指标与qrels进行对比评估。该数据集特别适合用于验证密集检索、稀疏检索或混合检索方法在实体检索任务上的零样本性能。

背景与挑战

背景概述

信息检索领域长期以来面临着模型泛化能力评估的困境，传统基准测试往往局限于单一任务或领域，难以真实反映检索系统在未见数据上的表现。为弥补这一空白，Nandan Thakur、Nils Reimers等来自英国伦敦大学学院（UKPLab）与滑铁卢大学的研究人员于2021年提出了BEIR（Benchmark for Zero-shot Evaluation of Information Retrieval）基准，旨在系统性地评估检索模型的零样本迁移能力。该基准整合了18个多样化数据集，覆盖事实核查、问答、生物医学检索、新闻检索、论点检索等9类信息检索任务，其核心研究问题在于衡量模型能否在不经特定领域微调的情况下，从异构语料中精准定位相关文档。BEIR的发布为信息检索社区提供了统一的评估框架，推动了密集检索、稀疏检索及混合检索方法的公平对比，显著提升了领域内对模型鲁棒性与跨任务适应性的关注度。

当前挑战

BEIR基准所面临的挑战首先体现在领域问题的复杂性上：信息检索任务本身涵盖从事实核查到实体检索的广泛场景，不同任务对相关性判定的标准差异显著，例如论点检索需要捕捉观点间的逻辑关联，而生物医学检索则要求高精度的术语匹配，这给模型的统一评估带来了巨大困难。在构建过程中，研究人员需对18个原始数据集进行标准化预处理，包括统一格式为JSONL的语料、查询和相关性判断文件，并确保不同规模（从数千到数百万文档）的数据集在零样本设置下保持评估一致性。此外，部分数据集（如BioASQ、TREC-NEWS）因版权或隐私限制无法直接分发，需提供复现指南，这增加了基准使用的门槛。数据集之间的语言单一性（仅英语）也限制了其多语言泛化能力的检验，成为未来扩展的关键瓶颈。

常用场景

经典使用场景

BeIR/dbpedia-entity-qrels作为BEIR基准测试的核心子集，专注于实体检索任务，其经典使用场景在于评估信息检索模型在零样本条件下的跨领域泛化能力。该数据集基于DBpedia知识图谱构建，包含约463万篇实体文档和400条查询，每个查询平均关联38.2个相关实体。研究者常利用此数据集测试检索系统在未见过的实体集合上的表现，例如从海量结构化知识库中精准定位与查询语义匹配的实体，从而衡量模型对异构数据分布和噪声标签的鲁棒性。

解决学术问题

该数据集解决了信息检索领域长期存在的零样本泛化评估难题，为学术研究提供了标准化的实体检索测试平台。传统检索模型在特定领域训练后难以迁移至新任务，而BeIR/dbpedia-entity-qrels通过整合多源实体数据，使研究者能够系统性地分析模型在跨领域场景下的性能退化原因。其意义在于揭示检索模型对训练数据分布偏差的敏感性，推动学界关注通用检索范式的构建，例如对比学习或预训练语言模型在知识密集型检索中的适配性。

衍生相关工作

围绕该数据集衍生了一系列经典工作，例如Thakur等人提出的BEIR基准框架，首次系统性地将零样本检索评估引入信息检索领域，并催生了后续的Contriever、SPLADE等模型在实体检索任务上的改进。此外，基于DBpedia-Entity的实体链接研究推动了多模态检索的发展，而相关对比实验则被广泛引用于分析检索模型在长尾知识分布下的鲁棒性，为后续的稀疏检索和稠密检索融合方法提供了关键验证基准。