ridwanlekan/docvqa_1200_examples_donut

--- dataset_info: features: - name: id dtype: string - name: image dtype: image - name: query struct: - name: de dtype: string - name: en dtype: string - name: es dtype: string - name: fr dtype: string - name: it dtype: string - name: answers sequence: string - name: words sequence: string - name: bounding_boxes sequence: sequence: float32 length: 4 - name: answer struct: - name: match_score dtype: float64 - name: matched_text dtype: string - name: start dtype: int64 - name: text dtype: string - name: ground_truth dtype: string splits: - name: train num_bytes: 379619282.0 num_examples: 1000 - name: test num_bytes: 70527803.0 num_examples: 200 download_size: 0 dataset_size: 450147085.0 --- # Dataset Card for "docvqa_1200_examples_donut" [More Information needed](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)## 数据集信息 ### 特征字段 1. **id**：数据类型为字符串 2. **image（图像）**：数据类型为图像 3. **query（查询）**：结构体类型，包含以下子字段： - **de（德语）**：数据类型为字符串 - **en（英语）**：数据类型为字符串 - **es（西班牙语）**：数据类型为字符串 - **fr（法语）**：数据类型为字符串 - **it（意大利语）**：数据类型为字符串 4. **answers**：字符串类型序列 5. **words**：字符串类型序列 6. **bounding_boxes（边界框）**：序列类型，其子元素为长度为4的单精度浮点型（float32）序列 7. **answer（最优答案）**：结构体类型，包含以下子字段： - **match_score（匹配得分）**：双精度浮点型（float64） - **matched_text（匹配文本）**：字符串类型 - **start（起始位置）**：64位整型 - **text（文本）**：字符串类型 8. **ground_truth（标准答案）**：数据类型为字符串 ### 数据集划分 1. 训练集（train）：字节大小379619282.0，样本数量1000 2. 测试集（test）：字节大小70527803.0，样本数量200 ### 其他统计信息 - 下载大小：0 - 数据集总大小：450147085.0 --- # 「docvqa_1200_examples_donut」数据集卡片 [需补充更多信息](https://github.com/huggingface/datasets/blob/main/CONTRIBUTING.md#how-to-contribute-to-the-dataset-cards)

原始信息汇总

数据集概述

数据集名称

• 名称: docvqa_1200_examples_donut

数据集特征

• id: 字符串类型
• image: 图像类型
• query: 结构化数据，包含以下字段：
  • de: 字符串类型
  • en: 字符串类型
  • es: 字符串类型
  • fr: 字符串类型
  • it: 字符串类型
• answers: 字符串序列
• words: 字符串序列
• bounding_boxes: 序列，每个元素为长度4的浮点数序列
• answer: 结构化数据，包含以下字段：
  • match_score: 浮点数类型
  • matched_text: 字符串类型
  • start: 整数类型
  • text: 字符串类型
• ground_truth: 字符串类型

数据集分割

• 训练集:
  • 样本数: 1000
  • 数据大小: 379619282.0 字节
• 测试集:
  • 样本数: 200
  • 数据大小: 70527803.0 字节

数据集大小

• 总大小: 450147085.0 字节
• 下载大小: 0 字节

搜集汇总

数据集介绍

构建方式

在文档视觉问答（DocVQA）这一前沿研究领域，数据集的质量与规模直接决定了模型对文档图像中文本信息的理解与推理能力。该数据集名为ridwanlekan/docvqa_1200_examples_donut，是一个面向文档图像问答任务的高质量子集，其构建基于DocVQA原始数据，并针对Donut模型进行了精心筛选与适配。数据集中包含1200个样本，其中训练集1000例、测试集200例，每个样本均以图像为核心，辅以多语言查询（涵盖德语、英语、西班牙语、法语、意大利语）以及对应的答案序列。此外，数据还提供了单词级文本坐标（bounding_boxes）与逐词标注（words），并记录了答案的匹配分数、匹配文本及起止位置，为模型训练提供了结构化、多层次的监督信号。

特点

该数据集具备多项显著特征，使其在文档理解领域独树一帜。首先，其多语言查询设计覆盖五种欧洲语言，赋予模型跨语言文档问答的能力，极大拓展了应用场景。其次，数据集中不仅包含图像与问题，还精细标注了词级别的边界框与文本序列，支持细粒度的空间与语义对齐。答案字段则提供了匹配分数与精确匹配文本，便于评估模型输出与真实答案的吻合程度。此外，ground_truth字段存储了完整的原始答案文本，为基准测试提供了可靠参考。整体而言，该数据集在规模上虽紧凑，却在信息密度上实现了高度浓缩，兼顾了训练效率与任务复杂度。

使用方法

使用该数据集时，研究者可将其直接加载至HuggingFace的datasets库中，通过指定数据集名称ridwanlekan/docvqa_1200_examples_donut即可获得结构化的训练与测试分片。在模型训练阶段，建议将image字段作为视觉输入，query字段中的多语言问题作为文本提示，answers或answer字段作为监督目标。对于Donut这类端到端文档理解模型，可结合words与bounding_boxes进行序列标注或空间感知的注意力机制增强。评估时，利用ground_truth与模型预测结果进行精确匹配或模糊匹配计算，以衡量文档视觉问答性能。该数据集尤其适用于微调预训练的视觉语言模型，或作为跨语言文档理解任务的验证基准。

背景与挑战

背景概述

文档视觉问答（Document Visual Question Answering, DocVQA）是一项融合计算机视觉与自然语言处理的前沿研究任务，旨在使模型能够理解文档图像中的文本与布局信息，并回答与之相关的问题。该数据集由研究人员ridwanlekan构建，基于DocVQA原始大规模语料库筛选出1200个高质量样本，并针对Donut（一种基于Transformer的文档理解模型）进行了格式适配。核心研究问题在于探索如何利用有限的标注数据提升模型对多语言文档的语义理解能力，尤其是对德语、英语、西班牙语、法语和意大利语等语种的覆盖。该数据集的创建时间虽未明确，但其对推动轻量化文档理解模型的发展具有潜在价值，尤其在资源受限场景下为评估模型泛化性能提供了标准化基准。

当前挑战

当前数据集面临的核心挑战包括：其一，文档视觉问答领域的根本难题在于图像中非结构化文本的精准定位与语义解析，例如手写体、复杂表格或倾斜文字的高鲁棒性识别仍存在瓶颈；其二，构建过程中需平衡多语言标注的覆盖度与一致性，1200个样本中每张图像包含五种语言的查询，这对跨语言语义对齐和答案匹配的准确性提出了严苛要求；其三，训练集与测试集规模较小（1000/200例），容易导致模型过拟合，且难以评估在真实场景中噪声干扰、多页文档或低分辨率图像下的泛化能力；此外，边界框标注的精度差异可能影响模型对空间布局的学习效果。

常用场景

经典使用场景

在视觉文档理解领域，docvqa_1200_examples_donut数据集作为DocVQA任务的一个精简子集，常用于评测与微调端到端文档问答模型。其经典使用场景聚焦于训练和验证诸如Donut这类基于Transformer的视觉语言模型，使其能够从文档图像中直接提取文字信息并回答自然语言问题。数据集包含多语言查询、边界框标注及匹配得分，为模型理解文档布局与语义关联提供了丰富的监督信号。

解决学术问题

该数据集有效解决了文档智能中视觉与语言模态对齐的学术难题，尤其针对非结构化文档的精准问答。它缓解了传统OCR管线中误差累积的问题，推动端到端模型在无需显式文字识别的情况下直接理解文档内容。通过提供多语言查询和精细化的答案匹配机制，该数据集促进了跨语言文档理解研究，并为评估模型在复杂版面下的推理能力建立了标准化基准。

衍生相关工作

该数据集衍生了多项经典工作，包括Donut模型的官方微调基准、DocVQA任务的轻量化迁移学习方案，以及多模态预训练方法（如LayoutLMv3）在文档问答上的适配。研究者基于此数据集探索了视觉特征与文本语义的深度融合策略，催生了诸如TAPAS、Pix2Struct等模型在文档理解领域的改进版本，进一步推动了文档智能技术的实用化进程。