irds/beir_nq

`beir/nq`数据集由`ir-datasets`包提供，包含2,681,468个文档（`docs`）、3,452个查询（`queries`）和4,201个相关性评估（`qrels`）。该数据集用于文本检索任务，用户可以通过`datasets`库加载和使用这些数据。The `beir/nq` dataset is provided by the `ir-datasets` package, which contains 2,681,468 documents (`docs`), 3,452 queries (`queries`), and 4,201 relevance judgment records (`qrels`). This dataset is designed for text retrieval tasks, and users can load and utilize these data via the `datasets` library.

原始信息汇总

数据集概述

数据集名称

beir/nq

数据来源

由ir-datasets提供。

数据内容

• 文档（corpus）: 2,681,468个
• 查询（topics）: 3,452个
• 相关性评估（relevance assessments）: 4,201个

数据结构

• 文档: 包含doc_id, text, title
• 查询: 包含query_id, text
• 相关性评估: 包含query_id, doc_id, relevance, iteration

引用信息

@article{Kwiatkowski2019Nq, title = {Natural Questions: a Benchmark for Question Answering Research}, author = {Tom Kwiatkowski and Jennimaria Palomaki and Olivia Redfield and Michael Collins and Ankur Parikh and Chris Alberti and Danielle Epstein and Illia Polosukhin and Matthew Kelcey and Jacob Devlin and Kenton Lee and Kristina N. Toutanova and Llion Jones and Ming-Wei Chang and Andrew Dai and Jakob Uszkoreit and Quoc Le and Slav Petrov}, year = {2019}, journal = {TACL} } @article{Thakur2021Beir, title = "BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models", author = "Thakur, Nandan and Reimers, Nils and Rücklé, Andreas and Srivastava, Abhishek and Gurevych, Iryna", journal= "arXiv preprint arXiv:2104.08663", month = "4", year = "2021", url = "https://arxiv.org/abs/2104.08663", }

搜集汇总

数据集介绍

构建方式

在信息检索领域，面向开放域问答的自然问题（Natural Questions）一直是评估检索模型性能的重要基准。irds/beir_nq数据集是BEIR基准框架下对原始Natural Questions数据进行标准化处理后的产物，旨在为零样本信息检索模型的评估提供统一且可复现的评测环境。该数据集构建过程严谨，依托ir-datasets工具包完成数据封装与格式转换，保留了原始语料库中约268万个文档、3452条查询以及4201条相关性判断记录，确保了与原始研究的高度一致性。

特点

该数据集最为显著的特征在于其规模宏大且标注精细，语料库包含近270万篇文档，覆盖了广泛的知识领域，能够充分考验检索模型的泛化能力。查询与文档之间的相关性判断（qrels）采用了多级相关性标注，为模型性能的细粒度评估提供了可能。此外，作为BEIR基准的重要组成部分，irds/beir_nq专门设计用于零样本场景下的检索任务评测，其标准化的数据格式与接口极大降低了跨模型比较的复杂性。

使用方法

研究人员可通过Hugging Face Datasets库便捷地加载该数据集，具体使用方式为调用load_dataset函数并指定数据集名称'irds/beir_nq'，随后通过'docs'、'queries'和'qrels'三个子集分别获取语料文档、查询语句以及相关性标注。每条文档记录包含文档标识符、文本内容与标题，查询记录包含查询标识符与文本，而相关性记录则涵盖了查询与文档的配对关系及其相关性等级。这种模块化的数据结构设计使得数据集能够无缝集成到主流的检索模型训练与评估流程中。

背景与挑战

背景概述

在信息检索与开放域问答研究领域，如何评估模型在真实用户查询下的表现始终是核心挑战。BEIR（Benchmarking Information Retrieval）基准应运而生，旨在为零样本信息检索评估提供统一框架。其中，beir/nq数据集源自Google于2019年发布的Natural Questions（NQ）基准，由Tom Kwiatkowski等研究者联合构建，发表于TACL期刊。该数据集基于Google搜索日志中的真实用户问题，每个问题对应维基百科页面，标注人员需在页面中定位能够直接回答问题的段落，从而构建了约260万文档、3400余条查询及4200余条相关性判断的语料库。beir/nq作为BEIR基准的核心子集，将NQ从问答任务转化为检索任务，推动了密集检索与稀疏检索模型在零样本场景下的公平比较，对后续DPR、ColBERT等模型的发展产生了深远影响。

当前挑战

beir/nq数据集所解决的领域问题在于零样本信息检索的泛化能力评估，其核心挑战包括：1）查询与文档间的语义鸿沟——用户自然语言提问往往简洁模糊，而维基百科文档结构复杂、信息密度高，模型需具备跨粒度匹配能力；2）相关性判断的稀疏性——仅4201条qrels覆盖了极少数查询-文档对，导致监督信号不足，模型难以从有限标注中学习到有效的检索策略；3）构建过程中的标注偏差——标注人员需在长文档中定位精确答案段落，但不同标注者对“相关段落”的边界界定存在主观差异，引入噪声；4）零样本迁移的难度——模型在beir/nq上的表现需泛化至未见过的领域与查询类型，而NQ的查询分布偏向事实型问题，对推理型或时间敏感型查询的覆盖不足，限制了评估的全面性。

常用场景

经典使用场景

在信息检索与开放域问答的交叉领域中，irds/beir_nq数据集作为BEIR基准测试的子集，天然承载着零样本检索模型评估的重任。该数据集源于Google自然问题（Natural Questions）语料库，囊括逾268万篇维基百科文档与3452条真实用户查询，其查询源自Google搜索日志中用户提出的自然语言问题，而相关性标注则通过人工判断完成。研究者常将其用于评估检索模型在未见领域上的泛化能力，通过计算检索结果与人工标注的相关性（qrels），精准衡量模型从海量文档中定位答案的能力。这一场景不仅考验模型对语义匹配的把握，更检验其跨越训练数据分布差异的鲁棒性，成为检验检索系统真实效能的试金石。

实际应用

在实际产业应用中，irds/beir_nq数据集所体现的零样本检索能力直接转化为搜索引擎与智能问答系统的核心性能提升。科技公司利用该数据集验证其检索模型在冷启动场景下的表现，例如当新知识库上线或领域快速扩展时，模型无需重新训练即可应对陌生查询。医疗健康领域，系统可据此从海量文献中快速定位罕见病相关信息；法律行业则能通过零样本检索从庞杂判例中抽取与当前案件高度相关的历史判决。此外，该数据集还支撑了对话式AI的知识检索组件开发，使虚拟助手能够在缺乏领域专属数据时，依然精准回答用户提出的各类开放域问题，大幅降低部署成本与维护难度。

衍生相关工作

irds/beir_nq数据集催生了一系列影响深远的衍生研究工作。作为BEIR基准的核心组成部分，它直接启发了Thakur等人提出的零样本检索评估框架，该框架系统整合了包括NQ在内的18个异质检索数据集，成为对比检索模型泛化能力的标准协议。在模型层面，基于该数据集的评测需求催生了Contriever、GTR等经典密集检索架构，这些模型通过大规模对比预训练显著提升了跨域检索性能。同时，该数据集也被用于验证句子BERT（Sentence-BERT）与ColBERT等交互式编码器的零样本效果，间接推动了后期交互（late interaction）与多向量检索范式的成熟。此外，基于NQ数据的知识蒸馏研究为轻量化检索模型的部署提供了理论依据。