vidore/infovqa_test_subsampled_captioning

--- dataset_info: features: - name: questionId dtype: string - name: query dtype: string - name: answer dtype: 'null' - name: answer_type dtype: 'null' - name: image dtype: image - name: image_filename dtype: string - name: operation/reasoning dtype: 'null' - name: ocr dtype: string - name: data_split dtype: string - name: source dtype: string - name: text_description dtype: string - name: chunk_id dtype: string - name: chunk_type dtype: string - name: chunk_image dtype: image splits: - name: test num_bytes: 1661299020.875 num_examples: 2779 download_size: 299136462 dataset_size: 1661299020.875 configs: - config_name: default data_files: - split: test path: data/test-* ---数据集信息： 特征项： - 名称：问题ID（questionId），数据类型：字符串（string） - 名称：查询（query），数据类型：字符串（string） - 名称：答案（answer），数据类型：空值（null） - 名称：答案类型（answer_type），数据类型：空值（null） - 名称：图像（image），数据类型：图像（image） - 名称：图像文件名（image_filename），数据类型：字符串（string） - 名称：操作/推理（operation/reasoning），数据类型：空值（null） - 名称：光学字符识别（OCR），数据类型：字符串（string） - 名称：数据划分（data_split），数据类型：字符串（string） - 名称：来源（source），数据类型：字符串（string） - 名称：文本描述（text_description），数据类型：字符串（string） - 名称：分块ID（chunk_id），数据类型：字符串（string） - 名称：分块类型（chunk_type），数据类型：字符串（string） - 名称：分块图像（chunk_image），数据类型：图像（image） 数据划分子集： - 子集名称：测试集（test），字节占用：1661299020.875，样本总量：2779 下载大小：299136462 数据集总大小：1661299020.875 配置项： - 配置名称：默认配置（default），数据文件： - 划分方式：测试集（test），文件路径：data/test-*

原始信息汇总

数据集概述

数据集信息

特征

• questionId: 字符串类型
• query: 字符串类型
• answer: 空类型
• answer_type: 空类型
• image: 图像类型
• image_filename: 字符串类型
• operation/reasoning: 空类型
• ocr: 字符串类型
• data_split: 字符串类型
• source: 字符串类型
• text_description: 字符串类型
• chunk_id: 字符串类型
• chunk_type: 字符串类型
• chunk_image: 图像类型

数据分割

• test:
  • 样本数量: 2779
  • 数据大小: 1661299020.875 字节

数据集大小

• 下载大小: 299136462 字节
• 数据集总大小: 1661299020.875 字节

配置

• default:
  • 数据文件路径: data/test-*

搜集汇总

数据集介绍

构建方式

在文档智能与视觉问答领域，高质量数据集是推动模型性能提升的关键基石。vidore/infovqa_test_subsampled_captioning 数据集基于 InfoVQA 测试集进行精心子采样构建而成。其数据构建过程保留了原始数据集中的关键字段，包括问题标识符、查询文本、图像及其文件名、OCR 文本、数据划分与来源信息，并额外引入了文本描述、块标识符、块类型及块图像等结构化元素。通过将文档图像切分为语义连续的块单元，并关联对应的描述性文本，该数据集旨在为视觉文档检索与字幕生成任务提供细粒度的标注支撑。整个数据集包含 2779 个测试样本，以单一测试划分呈现，确保了评估的集中性与可比性。

特点

该数据集最显著的特点在于其多模态与多层次的语义结构。每个样本不仅包含原始的文档图像与问答对，还提供了丰富的 OCR 文本与文本描述，使得模型能够同时从视觉与语言两个维度理解文档内容。尤为突出的是，数据集引入了基于块的表示机制，通过 chunk_id 与 chunk_type 将文档图像细化为可独立处理的语义单元，并以 chunk_image 字段保存对应的块级图像。这种设计不仅支持细粒度的视觉文档检索，还天然适用于图像字幕生成等跨模态任务。此外，数据集中 answer 与 answer_type 字段均为空，表明其设计初衷并非用于答案预测，而是聚焦于文档内容的理解与描述生成，体现了任务导向的精准定位。

使用方法

使用该数据集时，研究者可将其作为视觉文档检索与文档字幕生成任务的测试基准。数据以 HuggingFace Datasets 标准格式加载，通过指定配置名 default 与划分 test 即可获取全部 2779 个样本。对于检索任务，可利用 query 字段作为查询文本，结合 image 或 chunk_image 字段进行图文匹配评估；对于字幕生成任务，则可将 text_description 作为目标输出，以 image 或 chunk_image 为输入，训练或测试模型的描述生成能力。由于数据集已预定义块结构，开发者可直接利用 chunk_id 与 chunk_type 进行基于块的索引与处理，无需额外进行文档分割。加载时需注意图像字段的存储格式，建议使用支持图像解码的框架如 torchvision 或 PIL 进行后续处理。

背景与挑战

背景概述

在视觉文档理解领域，文档视觉问答（Document Visual Question Answering）是一项融合自然语言处理与计算机视觉的前沿任务，旨在使模型能够理解并回答关于文档图像中的复杂问题。vidore/infovqa_test_subsampled_captioning数据集由研究团队精心构建，聚焦于测试模型在信息密集型文档上的问答与描述能力。该数据集源于InfoVQA基准，其创建时间可追溯至近年来视觉文档理解研究蓬勃发展的阶段，主要研究机构致力于推动多模态模型对结构化文档（如表格、图表和表单）的深度理解。通过提供包含图像、OCR文本及文本描述的多维度特征，该数据集为评估模型在细粒度文档推理、跨模态对齐和上下文感知方面的表现提供了标准化测试平台，对推动文档级人工智能系统的进步具有重要影响力。

当前挑战

当前该数据集面临的核心挑战之一在于领域问题的复杂性：文档视觉问答需要模型同时处理视觉布局、文字语义及推理逻辑，例如从混合了图像与文本的复杂文档中精准定位答案，这对现有视觉语言模型在跨模态理解与长程依赖建模能力上构成显著瓶颈。构建过程中，数据集的挑战体现在多源异构文档的标注一致性上，包括确保OCR输出与图像区域的精确对齐、文本描述与问题意图的匹配，以及应对文档中模糊或非标准格式（如手写体、扭曲文字）带来的噪声干扰。此外，测试集仅包含2779个样本，规模较小可能限制模型泛化能力的充分评估，如何在小样本条件下设计鲁棒的评测指标亦是亟待攻克的难题。

常用场景

经典使用场景

在文档智能与多模态理解的前沿领域，vidore/infovqa_test_subsampled_captioning数据集以其针对信息视觉问答任务的精细设计，成为评估模型在复杂文档图像中提取与推理能力的标杆。该数据集汇聚了来自真实场景的文档图像，并配以结构化查询与对应文本描述，经典使用场景聚焦于训练和测试视觉语言模型在图文联合理解上的表现，例如模型需依据图像中的表格、图表或排版信息回答具体问题，从而推动多模态推理从简单识别迈向深度语义解析。

实际应用

在实际应用中，该数据集驱动的模型可赋能智能文档处理系统，例如自动解析财务报表、法律合同或科研论文中的图表与注释，辅助用户快速定位关键数据。企业可借助这些模型实现文档审核的自动化，减少人工校对成本，同时提升信息抽取的准确性。在数字图书馆与知识管理平台中，它还能支持基于图像内容的问答服务，让用户通过自然语言查询直接获取文档中的结构化答案。

衍生相关工作

基于该数据集，学术界已衍生出多项经典工作，包括提出多模态注意力机制以强化图像与文本的交互，以及开发针对文档布局的预训练策略。例如，相关工作通过引入空间感知的Transformer架构，显著提升了模型在表格问答与图表推理上的性能。此外，该数据集还催生了针对OCR噪声鲁棒性的研究，推动了端到端视觉文档理解系统的迭代，为后续的DocVQA等任务提供了重要参照。