florin-hf/nq_open_gold|问答系统数据集|自然语言处理数据集

该数据集是Natural Questions开放数据集的精选版本，包含了原始Natural Questions数据集中的黄金文档。与NQ-open数据集的主要区别在于排除了黄金文档长度超过512个token的条目。数据集旨在促进问答系统的研究，特别是通过整合黄金文档进行训练和测试。数据集包含用户查询和相应的维基百科页面，每个样本包括问题ID、问题、正确答案列表、黄金文档文本和黄金文档在全语料库中的索引。数据集分为训练集、验证集和测试集，分别包含72,209、8,006和2,889个样本。

原始信息汇总

Natural Questions Open Dataset with Gold Documents

概述

该数据集是Natural Questions open dataset的精选版本，包含了原始Natural Questions (NQ)数据集中的黄金文档。与NQ-open数据集的主要区别在于，排除了黄金文档长度超过512个token的条目。

数据集来源

Natural Questions (NQ)数据集是一个大规模的真实查询集合，源自Google搜索数据。每个条目包含一个用户查询和包含答案的相应Wikipedia页面。NQ-open数据集是NQ数据集的子集，去除了将答案链接到特定Wikipedia段落的限制，模拟了更一般的信息检索场景。

数据集结构

数据集中的样本格式如下： json { example_id (int64): 问题标识符，与原始NQ数据集一致, question (str): 问题，与原始NQ中的问题相同, answers (List[str]): 原始NQ中的正确答案列表, text (str): 与问题相关的黄金文档, idx_gold_in_corpus (int64): 黄金文档在完整语料库中的索引。 }

示例： json { example_id: -3440030035760311385, question: who owned the millennium falcon before han solo, answers: ["Lando Calrissian"], text: "Han Solo won the Millennium Falcon from Lando Calrissian in the card game sabacc several years before the events of the film A New Hope...", idx_gold_in_corpus: 20995349 }

数据集划分

• 训练集: 72,209 (50.2 MB)
• 验证集: 8,006 (5.57 MB)
• 测试集: 2,889 (1.96 MB)

引用信息

plaintext @article{doi:10.1162/tacl_a_00276, author = {Kwiatkowski, Tom and Palomaki, Jennimaria and Redfield, Olivia and Collins, Michael and Parikh, Ankur and Alberti, Chris and Epstein, Danielle and Polosukhin, Illia and Devlin, Jacob and Lee, Kenton and Toutanova, Kristina and Jones, Llion and Kelcey, Matthew and Chang, Ming-Wei and Dai, Andrew M. and Uszkoreit, Jakob and Le, Quoc and Petrov, Slav}, title = {Natural Questions: A Benchmark for Question Answering Research}, journal = {Transactions of the Association for Computational Linguistics}, volume = {7}, number = {}, pages = {453-466}, year = {2019}, doi = {10.1162/tacl_a_00276}, URL = {https://doi.org/10.1162/tacl_a_00276}, eprint = {https://doi.org/10.1162/tacl_a_00276} }

@inproceedings{lee-etal-2019-latent, title = "Latent Retrieval for Weakly Supervised Open Domain Question Answering", author = "Lee, Kenton and Chang, Ming-Wei and Toutanova, Kristina", booktitle = "Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics", month = jul, year = "2019", address = "Florence, Italy", publisher = "Association for Computational Linguistics", url = "https://www.aclweb.org/anthology/P19-1612", doi = "10.18653/v1/P19-1612", pages = "6086--6096" }

@misc{cuconasu2024power, title={The Power of Noise: Redefining Retrieval for RAG Systems}, author={Florin Cuconasu and Giovanni Trappolini and Federico Siciliano and Simone Filice and Cesare Campagnano and Yoelle Maarek and Nicola Tonellotto and Fabrizio Silvestri}, year={2024}, eprint={2401.14887}, archivePrefix={arXiv}, primaryClass={cs.IR} }

AI搜集汇总

数据集介绍

构建方式

florin-hf/nq_open_gold数据集是基于Natural Questions开放数据集（NQ-open）的精选版本，特别整合了原始Natural Questions数据集中的黄金文档。在构建过程中，排除了部分条目，因其对应的黄金文档长度超过512个标记，以适应预处理的限制。该数据集旨在支持问答系统的研究，尤其是通过引入黄金文档来增强训练和测试的效果。

特点

该数据集的特点在于其结合了真实世界的用户查询与对应的维基百科页面，提供了丰富的问答对和黄金文档。与NQ-open数据集相比，它保留了原始NQ数据集中的黄金文档，但通过筛选确保了文档长度的可控性。这种设计使得数据集在模拟信息检索场景时更具实用性，同时为问答系统的性能评估提供了高质量的基准。

使用方法

该数据集的使用方法主要围绕问答系统的训练与评估展开。研究人员可以通过加载数据集，获取包含问题、答案及黄金文档的样本，进而用于模型的训练和测试。数据集的结构清晰，每个样本包含唯一的标识符、问题文本、答案列表以及对应的黄金文档。通过这种方式，用户可以轻松地将其集成到现有的问答系统框架中，以验证模型在真实场景中的表现。

背景与挑战

背景概述

florin-hf/nq_open_gold数据集是基于Natural Questions开放数据集的一个精选版本，特别整合了原始Natural Questions数据集中的黄金文档。该数据集由Google搜索数据中的真实查询构成，每个条目包含用户查询及包含答案的相应维基百科页面。其核心研究问题在于提升问答系统的性能，特别是在整合黄金文档以用于训练和测试方面。该数据集由Kwiatkowski等人在2019年首次提出，并在后续研究中被广泛应用于问答系统的基准测试和模型优化。

当前挑战

该数据集在构建过程中面临的主要挑战包括黄金文档的长度限制问题。由于预处理要求，超过512个标记的文档被排除在外，这可能导致部分信息的丢失。此外，问答系统在实际应用中需要处理多样化的查询和复杂的文档结构，如何有效整合黄金文档以提升模型性能仍是一个关键挑战。在领域问题方面，尽管该数据集为问答系统提供了丰富的训练和测试资源，但在处理开放域问答时，如何准确检索相关文档并生成精确答案仍是一个亟待解决的问题。

常用场景

经典使用场景

在自然语言处理领域，florin-hf/nq_open_gold数据集被广泛用于训练和评估问答系统。该数据集通过整合来自原始Natural Questions数据集的金标准文档，为研究者提供了一个高质量的基准，用于测试模型在真实世界查询中的表现。其经典使用场景包括模型在开放域问答任务中的性能评估，尤其是在处理复杂查询和长文档时。

解决学术问题

该数据集解决了问答系统研究中常见的几个关键问题，包括如何有效利用金标准文档进行模型训练，以及如何在开放域问答任务中处理长文档和复杂查询。通过提供高质量的标注数据，florin-hf/nq_open_gold帮助研究者克服了传统问答系统中信息检索与答案生成之间的鸿沟，推动了问答系统技术的进步。

衍生相关工作

florin-hf/nq_open_gold数据集衍生了许多相关研究，尤其是在开放域问答和检索增强生成（RAG）系统领域。例如，基于该数据集的研究工作《The Power of Noise: Redefining Retrieval for RAG Systems》探讨了噪声在检索过程中的作用，并提出了一种新的检索方法。此外，该数据集还被用于《Latent Retrieval for Weakly Supervised Open Domain Question Answering》等研究中，推动了弱监督学习和联合检索-生成模型的发展。