seongil-dn/mteb-nq-open

该数据集包含三个部分：语料库（corpus）、查询与语料对应关系（default）和查询语句（queries）。语料库部分包含超过277万个文本示例，查询与语料对应关系部分包含约10万个查询与语料ID及分数的对应记录，查询语句部分包含约10万个查询文本。每个部分都有其特定的特征，如语料库部分包含文本内容和唯一标识符，查询与语料对应关系部分包含查询ID、语料ID和分数，查询语句部分包含查询文本和唯一标识符。

The dataset consists of three parts: a corpus (corpus), a query-corpus correspondence (default), and query statements (queries). The corpus part contains over 2.77 million text examples, the query-corpus correspondence part contains about 100,000 records of query and corpus IDs along with scores, and the query statements part contains about 100,000 query texts. Each part has its specific features, such as the corpus part includes text content and a unique identifier, the query-corpus correspondence part includes query ID, corpus ID, and score, and the query statements part includes query text and a unique identifier.

搜集汇总

数据集介绍

构建方式

在信息检索与自然语言处理领域，高质量的数据集是评估模型性能的基石。seongil-dn/mteb-nq-open数据集基于谷歌自然问题（Natural Questions）语料库构建，旨在为开放域问答和文本检索任务提供标准化评测基准。其构建过程精心设计为三个配置：corpus配置包含约277万条文档文本，每条均配有唯一标识符_id，构成检索语料库；queries配置收录了10万余条用户查询，每条查询同样以_id标识；default配置则通过query-id与corpus-id的配对关联，并附以浮点型score表示相关性分数，从而形成完整的训练集。这种分层结构确保了数据的高效组织和多任务兼容性。

特点

该数据集的核心特点在于其规模与结构的平衡性。corpus配置拥有近280万条文本条目，覆盖广泛的知识领域，为检索模型提供了丰富的候选文档池。queries配置包含10万余条查询，数量充足且来源真实，反映了用户在实际搜索中的多样化意图。default配置中的score字段采用浮点型精度，能够细致刻画查询与文档间的相关程度，支持基于排序的学习任务。此外，数据集通过分片（shard）方式存储，便于分布式加载，同时各配置的独立性允许研究者灵活选取所需部分，无需处理冗余数据。

使用方法

使用该数据集时，研究者可通过HuggingFace Datasets库轻松加载。首先，利用load_dataset函数指定数据集名称'seongil-dn/mteb-nq-open'，并通过config参数选择corpus、queries或default任一配置。例如，加载语料库可调用load_dataset('seongil-dn/mteb-nq-open', 'corpus')，得到包含text和_id字段的数据集。对于训练任务，default配置提供了query-id、corpus-id和score三元组，可直接用于监督学习。数据以分片形式存储，加载时自动合并，无需手动处理。建议结合检索评估框架如MTEB进行模型评测，以标准化流程衡量检索性能。

背景与挑战

背景概述

该数据集名为seongil-dn/mteb-nq-open，源自大规模开放域问答研究领域，由研究人员Seongil等人构建，旨在为检索增强型问答系统提供标准化评测基准。数据集创建于大规模语言模型与密集检索技术快速发展的背景下，核心研究问题聚焦于如何从海量非结构化文本中精准检索并匹配与自然语言查询相关的答案片段。其影响力体现在为信息检索与问答系统的交叉研究提供了可复现的评估框架，尤其在零样本或低资源场景下的检索性能度量方面具有重要参考价值。数据集包含约277万条文档片段与10万条查询-文档配对样本，覆盖开放域知识问答的典型挑战场景。

当前挑战

该数据集所解决的领域挑战集中于开放域问答中的语义检索鸿沟，即查询与文档间存在词汇不匹配及隐含语义关联的建模难题。在构建过程中，主要挑战包括：1）大规模语料的清洗与去重，需从原始网络资源中过滤噪声文本并确保文档覆盖度的均衡性；2）查询标注的准确性，需通过人工审核与自动校验结合的方式保证问答对的语义一致性；3）负样本采样的有效性，需设计合理的难负样本策略以提升检索模型的判别能力。此外，数据集规模与多样性间的平衡也是关键挑战，需避免特定领域或表述模式的系统性偏差。

常用场景

经典使用场景

在信息检索与自然语言处理的交叉领域中，seongil-dn/mteb-nq-open数据集为开放域问答任务提供了不可或缺的基准资源。该数据集源自Google的Natural Questions语料库，经过精心清洗与重构后，形成了包含约277万条文档的语料库与10万余条查询-文档配对样本。其最经典的使用场景在于评估和微调稠密检索模型，例如DPR、ColBERT以及基于Transformer的近期双编码器架构。研究者通常利用该数据集的查询集合与语料库，通过计算查询与文档的语义相似度，来测试模型在复杂知识获取任务中的表现，从而推动信息检索系统从稀疏词法匹配向深度语义理解的范式演进。

衍生相关工作

该数据集衍生了一系列具有深远影响力的经典研究工作。其中最著名的是MTEB（Massive Text Embedding Benchmark）评测体系，该体系将mteb-nq-open作为核心检索子任务之一，系统评估了如GTR、E5、BGE等百余种文本嵌入模型在检索场景下的性能。此外，研究者基于该数据集提出了ANCE（Approximate Nearest Neighbor Negative Contrastive Estimation）采样策略，显著提升了稠密检索器的训练效率。后续的Contriever与SimCSE等自监督对比学习框架也将其作为验证集，用于证明无标注数据预训练的有效性。这些工作共同构成了现代密集检索技术的理论基石，持续推动着信息检索领域向更高效、更精准的方向演进。

数据集最近研究

最新研究方向

在信息检索与自然语言处理交叉领域，seongil-dn/mteb-nq-open数据集聚焦于开放域问答中的稠密检索与语义匹配研究。该数据集基于Google Natural Questions构建，包含近280万文档与10万查询-文档对，为评估嵌入模型在真实场景下的检索精度提供了标准化基准。当前前沿方向集中于利用对比学习与多任务微调提升模型对长尾查询的泛化能力，以及探索混合检索策略（融合稀疏与稠密表示）以缓解实体歧义问题。随着大语言模型在知识密集型任务中的广泛应用，该数据集已成为验证检索增强生成（RAG）系统性能的关键测试平台，其影响体现在推动检索模型从单纯相关性匹配向语义理解与推理能力协同进化，对构建更可信、可解释的问答系统具有深远意义。