lmms-lab/DocVQA

该数据集是DocVQA的格式化版本，用于评估大规模多模态模型的`lmms-eval`管道。数据集包括两个配置：DocVQA和InfographicVQA。DocVQA配置包含问题ID、问题、问题类型、图像、文档ID、UCSF文档ID、UCSF文档页码、答案和数据分割等特征。InfographicVQA配置包含问题ID、问题、答案、答案类型、图像、图像URL、操作/推理、OCR和数据分割等特征。两个配置都提供了验证集和测试集的分割信息。

This dataset is a formatted version of DocVQA, intended for evaluating the `lmms-eval` pipeline of large-scale multimodal models. The dataset includes two configurations: DocVQA and InfographicVQA. The DocVQA configuration contains features such as question ID, question, question type, image, document ID, UCSF document ID, UCSF document page number, answer, and data split. The InfographicVQA configuration includes features such as question ID, question, answer, answer type, image, image URL, operation/reasoning, OCR, and data split. Both configurations provide split information for both the validation and test sets.

原始信息汇总

数据集概述

DocVQA

• 配置名称: DocVQA
• 特征:
  • questionId: 字符串
  • question: 字符串
  • question_types: 序列，字符串
  • image: 图像
  • docId: 整数
  • ucsf_document_id: 字符串
  • ucsf_document_page_no: 字符串
  • answers: 序列，字符串
  • data_split: 字符串
• 分割:
  • validation: 5349个样本，2532447207.066字节
  • test: 5188个样本，2500408525.732字节
• 下载大小: 9555791945字节
• 数据集大小: 10691862676.428999字节
• 数据文件:
  • validation: DocVQA/validation-*
  • test: DocVQA/test-*

InfographicVQA

• 配置名称: InfographicVQA
• 特征:
  • questionId: 字符串
  • question: 字符串
  • answers: 序列，字符串
  • answer_type: 序列，字符串
  • image: 图像
  • image_url: 字符串
  • operation/reasoning: 序列，字符串
  • ocr: 字符串
  • data_split: 字符串
• 分割:
  • validation: 2801个样本，1863177404.253字节
  • test: 3288个样本，1851304047.712字节
• 下载大小: 2544892079字节
• 数据集大小: 15274175998.285字节
• 数据文件:
  • validation: InfographicVQA/validation-*
  • test: InfographicVQA/test-*

搜集汇总

背景与挑战

背景概述

DocVQA是一个用于文档图像视觉问答（VQA）任务的数据集，包含10K-100K规模的图像和文本数据，格式为parquet。该数据集旨在支持大规模多模态模型（LMMs）的评估和开发，基于arXiv:2007.00398论文构建。