Xnhyacinth/NQ-Image

--- license: mit dataset_info: - config_name: ctxs1 features: - name: id dtype: int64 - name: answers sequence: string - name: question dtype: string - name: compressed_prompt struct: - name: compressed_prompt dtype: string - name: compressed_tokens dtype: int64 - name: origin_tokens dtype: int64 - name: ratio dtype: string - name: saving dtype: string - name: ctxs list: - name: id dtype: string - name: text dtype: string - name: title dtype: string splits: - name: train num_bytes: 5212377086 num_examples: 79168 - name: eval num_bytes: 576466670 num_examples: 8757 - name: test num_bytes: 238448436 num_examples: 3610 download_size: 3334114023 dataset_size: 6027292192 - config_name: ctxs100 features: - name: question dtype: string - name: compressed_prompt struct: - name: compressed_prompt dtype: string - name: compressed_tokens dtype: int64 - name: origin_tokens dtype: int64 - name: ratio dtype: string - name: saving dtype: string - name: answers sequence: string - name: id dtype: int64 - name: ctxs list: - name: id dtype: string - name: text dtype: string - name: title dtype: string splits: - name: train num_bytes: 5316136683 num_examples: 79168 - name: eval num_bytes: 587931406 num_examples: 8757 - name: test num_bytes: 243224578 num_examples: 3610 download_size: 3413758169 dataset_size: 6147292667 - config_name: ctxs5 features: - name: id dtype: int64 - name: answers sequence: string - name: question dtype: string - name: compressed_prompt struct: - name: compressed_prompt dtype: string - name: compressed_tokens dtype: int64 - name: origin_tokens dtype: int64 - name: ratio dtype: string - name: saving dtype: string - name: ctxs list: - name: id dtype: string - name: score dtype: float64 - name: text dtype: string - name: title dtype: string splits: - name: train num_bytes: 5379479786 num_examples: 79168 - name: eval num_bytes: 594986589 num_examples: 8757 - name: test num_bytes: 246104192 num_examples: 3610 download_size: 3408308518 dataset_size: 6220570567 configs: - config_name: ctxs1 data_files: - split: train path: ctxs1/train-* - split: eval path: ctxs1/eval-* - split: test path: ctxs1/test-* - config_name: ctxs100 data_files: - split: train path: ctxs100/train-* - split: eval path: ctxs100/eval-* - split: test path: ctxs100/test-* - config_name: ctxs5 data_files: - split: train path: ctxs5/train-* - split: eval path: ctxs5/eval-* - split: test path: ctxs5/test-* ---许可证：MIT许可证 数据集信息： - 配置名称（config_name）：ctxs1 特征字段： - 字段名：id，数据类型（dtype）：int64（64位整数） - 字段名：answers，数据类型（dtype）：字符串序列 - 字段名：question，数据类型（dtype）：字符串 - 字段名：compressed_prompt，结构体（struct）： - 字段名：compressed_prompt，数据类型（dtype）：字符串 - 字段名：compressed_tokens，数据类型（dtype）：int64（64位整数） - 字段名：origin_tokens，数据类型（dtype）：int64（64位整数） - 字段名：ratio，数据类型（dtype）：字符串 - 字段名：saving，数据类型（dtype）：字符串 - 字段名：ctxs，列表（list）： - 字段名：id，数据类型（dtype）：字符串 - 字段名：text，数据类型（dtype）：字符串 - 字段名：title，数据类型（dtype）：字符串 数据集划分： - 划分名称：train（训练集），字节数：5212377086，样本数：79168 - 划分名称：eval（评估集），字节数：576466670，样本数：8757 - 划分名称：test（测试集），字节数：238448436，样本数：3610 下载大小：3334114023，数据集总大小：6027292192 - 配置名称（config_name）：ctxs100 特征字段： - 字段名：question，数据类型（dtype）：字符串 - 字段名：compressed_prompt，结构体（struct）： - 字段名：compressed_prompt，数据类型（dtype）：字符串 - 字段名：compressed_tokens，数据类型（dtype）：int64（64位整数） - 字段名：origin_tokens，数据类型（dtype）：int64（64位整数） - 字段名：ratio，数据类型（dtype）：字符串 - 字段名：saving，数据类型（dtype）：字符串 - 字段名：answers，数据类型（dtype）：字符串序列 - 字段名：id，数据类型（dtype）：int64（64位整数） - 字段名：ctxs，列表（list）： - 字段名：id，数据类型（dtype）：字符串 - 字段名：text，数据类型（dtype）：字符串 - 字段名：title，数据类型（dtype）：字符串 数据集划分： - 划分名称：train（训练集），字节数：5316136683，样本数：79168 - 划分名称：eval（评估集），字节数：587931406，样本数：8757 - 划分名称：test（测试集），字节数：243224578，样本数：3610 下载大小：3413758169，数据集总大小：6147292667 - 配置名称（config_name）：ctxs5 特征字段： - 字段名：id，数据类型（dtype）：int64（64位整数） - 字段名：answers，数据类型（dtype）：字符串序列 - 字段名：question，数据类型（dtype）：字符串 - 字段名：compressed_prompt，结构体（struct）： - 字段名：compressed_prompt，数据类型（dtype）：字符串 - 字段名：compressed_tokens，数据类型（dtype）：int64（64位整数） - 字段名：origin_tokens，数据类型（dtype）：int64（64位整数） - 字段名：ratio，数据类型（dtype）：字符串 - 字段名：saving，数据类型（dtype）：字符串 - 字段名：ctxs，列表（list）： - 字段名：id，数据类型（dtype）：字符串 - 字段名：score，数据类型（dtype）：float64（64位浮点数） - 字段名：text，数据类型（dtype）：字符串 - 字段名：title，数据类型（dtype）：字符串 数据集划分： - 划分名称：train（训练集），字节数：5379479786，样本数：79168 - 划分名称：eval（评估集），字节数：594986589，样本数：8757 - 划分名称：test（测试集），字节数：246104192，样本数：3610 下载大小：3408308518，数据集总大小：6220570567 配置项： - 配置名称（config_name）：ctxs1，数据文件： - 划分：train（训练集），路径：ctxs1/train-* - 划分：eval（评估集），路径：ctxs1/eval-* - 划分：test（测试集），路径：ctxs1/test-* - 配置名称（config_name）：ctxs100，数据文件： - 划分：train（训练集），路径：ctxs100/train-* - 划分：eval（评估集），路径：ctxs100/eval-* - 划分：test（测试集），路径：ctxs100/test-* - 配置名称（config_name）：ctxs5，数据文件： - 划分：train（训练集），路径：ctxs5/train-* - 划分：eval（评估集），路径：ctxs5/eval-* - 划分：test（测试集），路径：ctxs5/test-*

原始信息汇总

数据集概述

数据集配置

• config_name: ctxs1

  • 特征:
    • id: 类型 int64
    • answers: 序列类型 string
    • question: 类型 string
    • compressed_prompt: 结构类型
      • compressed_prompt: 类型 string
      • compressed_tokens: 类型 int64
      • origin_tokens: 类型 int64
      • ratio: 类型 string
      • saving: 类型 string
    • ctxs: 列表类型
      • id: 类型 string
      • text: 类型 string
      • title: 类型 string
  • 分割:
    • train: 字节数 5212377086, 样本数 79168
    • eval: 字节数 576466670, 样本数 8757
    • test: 字节数 238448436, 样本数 3610
  • 下载大小: 3334114023
  • 数据集大小: 6027292192

• config_name: ctxs100

  • 特征:
    • question: 类型 string
    • compressed_prompt: 结构类型
      • compressed_prompt: 类型 string
      • compressed_tokens: 类型 int64
      • origin_tokens: 类型 int64
      • ratio: 类型 string
      • saving: 类型 string
    • answers: 序列类型 string
    • id: 类型 int64
    • ctxs: 列表类型
      • id: 类型 string
      • text: 类型 string
      • title: 类型 string
  • 分割:
    • train: 字节数 5316136683, 样本数 79168
    • eval: 字节数 587931406, 样本数 8757
    • test: 字节数 243224578, 样本数 3610
  • 下载大小: 3413758169
  • 数据集大小: 6147292667

• config_name: ctxs5

  • 特征:
    • id: 类型 int64
    • answers: 序列类型 string
    • question: 类型 string
    • compressed_prompt: 结构类型
      • compressed_prompt: 类型 string
      • compressed_tokens: 类型 int64
      • origin_tokens: 类型 int64
      • ratio: 类型 string
      • saving: 类型 string
    • ctxs: 列表类型
      • id: 类型 string
      • score: 类型 float64
      • text: 类型 string
      • title: 类型 string
  • 分割:
    • train: 字节数 5379479786, 样本数 79168
    • eval: 字节数 594986589, 样本数 8757
    • test: 字节数 246104192, 样本数 3610
  • 下载大小: 3408308518
  • 数据集大小: 6220570567

数据文件路径

• config_name: ctxs1

  • train: ctxs1/train-*
  • eval: ctxs1/eval-*
  • test: ctxs1/test-*

• config_name: ctxs100

  • train: ctxs100/train-*
  • eval: ctxs100/eval-*
  • test: ctxs100/test-*

• config_name: ctxs5

  • train: ctxs5/train-*
  • eval: ctxs5/eval-*
  • test: ctxs5/test-*

搜集汇总

数据集介绍

构建方式

在开放域问答与多模态检索的交叉领域中，NQ-Image数据集应运而生，旨在弥合自然语言问题与图像化上下文之间的鸿沟。该数据集基于Natural Questions语料库进行扩展，通过为每个问题关联不同数量的检索上下文（ctxs1、ctxs5、ctxs100），构建了多粒度、多模态的问答对。每个样本包含问题文本、答案序列、唯一标识符以及压缩后的提示信息，其中压缩提示记录了压缩率、令牌节省等关键指标。上下文列表则整合了检索文档的标识、标题与全文，从而形成了结构严谨、层次分明的训练、评估与测试划分。

特点

NQ-Image数据集最显著的特点在于其多配置设计，提供了ctxs1、ctxs5和ctxs100三种上下文数量配置，分别对应稀疏、中等与密集的检索信息量，以适应不同任务复杂度与模型容量的需求。每个配置均包含近8万训练样本及约1.2万验证与测试样本，规模可观。此外，数据集内置了压缩提示字段，能够量化提示压缩的效率与质量，为研究高效提示工程与模型推理加速提供了宝贵资源。其字段类型涵盖整型、字符串、浮点型及嵌套结构，充分体现了多模态与结构化数据的融合特性。

使用方法

研究者可通过HuggingFace Datasets库便捷加载该数据集，并依据任务需求选择特定配置，例如使用'ctxs5'进行中等上下文量的问答模型训练。数据集支持标准的train/eval/test划分，便于开展有监督学习与评估。在模型输入构建时，可将question字段与ctxs中的text字段拼接，并结合compressed_prompt进行提示压缩实验。由于数据中包含answers序列字段，适用于生成式与抽取式问答任务的微调。建议使用PyTorch或TensorFlow框架配合DataLoader进行批量处理，以充分发挥其大规模结构化数据的高效加载优势。

背景与挑战

背景概述

在开放域问答与检索增强生成领域，如何高效地将外部知识融入大语言模型以提升回答的准确性与可解释性，始终是研究焦点。Xnhyacinth/NQ-Image数据集由研究者于近年创建，其核心研究问题在于探索上下文压缩技术对问答性能的影响，并构建一个包含多粒度上下文窗口（如1条、5条或100条检索结果）的评测基准。该数据集基于Natural Questions开发，通过引入压缩提示（compressed_prompt）字段，记录了原始令牌数与压缩后令牌数的比例，为评估不同压缩策略下的信息保留效率提供了关键指标。其影响力体现在为后续研究提供了一个标准化的测试平台，使学术界得以系统性地分析上下文长度、压缩比与答案质量之间的复杂关系。

当前挑战

当前该数据集面临的核心挑战包括两方面。在领域问题层面，如何平衡上下文压缩带来的推理效率提升与关键信息丢失的风险，是一个亟待解决的难题，尤其在处理需要细粒度证据链的多跳问答时，压缩策略极易导致语义断裂。在构建过程中，数据集的挑战集中于压缩提示的生成质量与一致性，由于不同压缩算法对同一问题的处理结果差异显著，缺乏统一的压缩效果评估标准使得不同配置（ctxs1、ctxs5、ctxs100）之间的可比性受到质疑。此外，数据集仅包含英文维基百科背景下的问答对，其跨语言、跨领域的泛化能力尚未得到验证，限制了其在更广泛应用场景中的适配性。

常用场景

经典使用场景

在开放域问答与信息检索的交叉领域中，NQ-Image数据集为多模态知识检索提供了理想的实验平台。该数据集基于自然问题（Natural Questions）构建，并引入压缩提示（compressed_prompt）字段，使得研究者能够探索如何在不损失语义完整性的前提下，高效地将长文本上下文压缩为简洁表示。经典使用场景包括基于检索增强生成（RAG）的问答系统训练，其中模型需从大规模候选文档中定位正确答案，并利用压缩提示机制优化推理效率与内存占用。

解决学术问题

NQ-Image数据集直面了长文本问答中上下文窗口限制与检索精度之间的核心矛盾。通过提供不同上下文数量（ctxs1、ctxs5、ctxs100）的配置，它系统性地支持了关于检索粒度与模型性能关系的量化研究。该数据集推动了压缩提示策略的学术探索，使得研究者能够分析提示压缩比（compressed_tokens与origin_tokens的比值）对答案生成质量的影响，从而为构建更轻量、更高效的问答模型奠定了实验基础。

衍生相关工作

该数据集衍生了一系列关于提示压缩与检索增强生成的前沿工作。其中，基于NQ-Image的压缩提示机制催生了自适应上下文剪枝算法，能够动态选择与问题最相关的文档片段。此外，研究者利用其多粒度上下文配置，开发了分层检索框架，通过先粗筛后精排的策略提升答案准确率。这些工作不仅深化了对长文本问答中信息冗余问题的理解，也为后续的少样本学习与跨语言检索研究提供了基准测试平台。