irds/beir_dbpedia-entity_test

`beir/dbpedia-entity/test`数据集由ir-datasets包提供，主要用于文本检索任务。该数据集包含400个查询（即主题）和43,515个相关性评估（qrels）。文档部分需要从`irds/beir_dbpedia-entity`数据集中获取。

The `beir/dbpedia-entity/test` dataset is provided by the `ir-datasets` package and is primarily used for text retrieval tasks. This dataset contains 400 queries (i.e., topics) and 43,515 relevance judgments (qrels). The required document collection must be obtained from the `irds/beir_dbpedia-entity` dataset.

原始信息汇总

数据集概述

数据集名称

beir/dbpedia-entity/test

数据来源

• 源数据集：irds/beir_dbpedia-entity

任务类别

• 文本检索

数据内容

• queries（查询/主题）：数量=400
• qrels（相关性评估）：数量=43,515
• docs：使用irds/beir_dbpedia-entity数据集

使用示例

python from datasets import load_dataset

queries = load_dataset(irds/beir_dbpedia-entity_test, queries) for record in queries: record # {query_id: ..., text: ...}

qrels = load_dataset(irds/beir_dbpedia-entity_test, qrels) for record in qrels: record # {query_id: ..., doc_id: ..., relevance: ..., iteration: ...}

引用信息

@article{Hasibi2017DBpediaEntityVA, title={DBpedia-Entity v2: A Test Collection for Entity Search}, author={Faegheh Hasibi and Fedor Nikolaev and Chenyan Xiong and K. Balog and S. E. Bratsberg and Alexander Kotov and J. Callan}, journal={Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval}, year={2017} } @article{Thakur2021Beir, title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models", author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna", journal= "arXiv preprint arXiv:2104.08663", month = "4", year = "2021", url = "https://arxiv.org/abs/2104.08663", }

搜集汇总

数据集介绍

构建方式

在信息检索领域，实体搜索任务旨在从大规模知识库中精准定位与查询相关的实体，而DBpedia-Entity测试集正是为此类研究提供标准化评估平台的关键资源。该数据集源自BEIR基准套件，依托ir-datasets框架构建，其核心组件包括400条查询语句及其对应的43,515条相关性判断。查询与文档的映射关系通过严谨的众包标注与专家审核流程确立，确保了评估标签的可靠性。文档集合则复用irds/beir_dbpedia-entity数据集，形成统一的检索空间。

特点

该数据集最显著的特征在于其聚焦于实体级检索的细粒度评估能力，覆盖DBpedia知识图谱中的多样化实体类型。400条查询经过精心设计，涵盖实体名称、属性及关系等多维检索需求，而43,515条相关性判断采用分级标注体系，区分高度相关、部分相关与不相关等不同层次。这种精细化的标注结构使其成为零样本信息检索模型性能评估的黄金标准，尤其适用于跨领域泛化能力的测试场景。

使用方法

研究人员可通过HuggingFace Datasets库便捷调用该资源，使用load_dataset函数分别加载queries与qrels两个子集。queries子集以query_id和text字段存储查询文本，qrels子集则记录query_id、doc_id、relevance及iteration字段，完整呈现查询与文档间的相关性矩阵。用户需注意首次加载时将自动下载数据集副本至本地缓存，后续操作可直接基于Dataset格式进行高效迭代处理，适配深度学习框架的数据流水线。

背景与挑战

背景概述

在信息检索领域，实体搜索是一项核心任务，旨在从大规模知识库中精准定位与特定查询相关的实体。该数据集由Faegheh Hasibi等研究者于2017年创建，隶属于DBpedia-Entity v2测试集，并作为BEIR基准测试的一部分，由Thakur等人于2021年纳入零样本评估框架。其核心研究问题聚焦于评估检索模型在实体查询上的泛化能力，涵盖400条查询与43,515条相关性判断。数据集依托DBpedia知识图谱，为实体链接与语义搜索提供了标准化评测平台，对推动信息检索模型从传统文本匹配向语义理解演进产生了深远影响。

当前挑战

该数据集面临的核心挑战在于实体搜索的语义复杂性：实体查询常涉及歧义性表述（如同名不同实体），要求模型具备上下文感知与知识推理能力，现有检索系统在零样本场景下难以精准捕捉实体间的隐式关联。构建过程中，研究者需从DBpedia大规模语料中筛选实体，并人工标注查询-文档相关性，面临标注成本高昂与一致性维护的难题。此外，查询数量有限（仅400条）可能限制模型泛化性能的评估，而跨领域实体搜索的异质性进一步加剧了检索鲁棒性的挑战。

常用场景

经典使用场景

该数据集作为BEIR基准测试套件的重要组成部分，常用于评估信息检索模型在零样本场景下的泛化能力。其核心任务聚焦于实体检索（Entity Search），即给定自然语言查询，模型需从大规模知识库中精准定位相关实体文档。经典使用方式包括：利用400条查询与43,515条相关性判断，训练或测试检索模型对DBpedia知识图谱中实体描述的语义匹配能力，尤其关注模型在未见领域上的迁移表现。

实际应用

在实际应用中，该数据集支撑了企业级知识管理系统与智能问答平台的检索模块优化。例如，在医疗、法律等专业领域构建的实体搜索引擎，可通过此数据集验证模型对跨领域术语的解析能力。此外，它被用于改进对话式AI中的实体链接（Entity Linking）环节，帮助系统在用户模糊表述下仍能关联到知识库中的准确实体，从而提升信息获取效率。

衍生相关工作

该数据集衍生了一系列里程碑式工作：Hasibi等人基于此提出了DBpedia-Entity v2测试集，奠定了实体检索评估的基准范式；Thakur等人将其纳入BEIR框架，催生了Contriever、SPLADE等零样本检索模型的系统性对比研究。后续工作如GTR（Generalizable T5-based Retriever）进一步利用该数据集验证了生成式检索在实体搜索任务上的潜力，推动检索模型向更通用的方向演进。