SlideVQA|视觉问答数据集|机器阅读理解数据集

SlideVQA是一个针对多图像文档视觉问答（VQA）的新数据集，由NTT人类信息学实验室创建。该数据集包含超过2.6万个幻灯片组，总计超过5.2万张幻灯片图像和1.45万个问题，旨在测试和提升模型在多图像环境下的复杂推理能力，包括单跳、多跳和数值推理。SlideVQA的创建过程涉及从slideshare下载幻灯片，并通过严格的筛选和标注过程确保数据质量。该数据集的应用领域主要集中在提升机器阅读理解能力，特别是在处理包含文本、视觉和布局信息的复杂文档时。

AI搜集汇总

数据集介绍

构建方式

SlideVQA数据集的构建方式独具匠心，通过精心筛选和下载超过25,327个包含20张以上幻灯片的演示文稿，涵盖39个主题，确保了数据集的广泛性和多样性。随后，通过严格的筛选标准，保留了符合英语语言、内容易于理解且包含图表、表格或数值数据的幻灯片，从而避免了仅依赖文本理解的局限性。此外，数据集还对所有图像进行了边界框和类别的标注，进一步增强了数据集的语义理解和布局分析能力。

特点

SlideVQA数据集的显著特点在于其多图像文档视觉问答的复杂性，涵盖了单跳、多跳和数值推理等多种推理类型。数据集不仅包含了超过52,000张幻灯片图像和14,500个问题，还提供了数值答案的算术表达式标注，极大地提升了数值推理的能力。此外，SlideVQA还提供了大量的边界框标注，使得模型能够更好地理解文档的布局和视觉元素。

使用方法

SlideVQA数据集的使用方法多样，适用于开发和评估多图像文档视觉问答系统。研究者可以通过提供的训练集、开发集和测试集进行模型的训练和验证。数据集支持多种任务，包括证据选择和问题回答，模型可以通过多任务学习的方式进行联合训练。此外，SlideVQA还提供了详细的标注信息，如边界框和算术表达式，帮助模型更好地理解和推理文档内容。

背景与挑战

背景概述

近年来，文档图像上的视觉问答（Document Visual Question Answering, DocVQA）引起了广泛关注，这一任务要求系统能够理解和回答包含文本、视觉和布局信息的文档图像。尽管已有多个数据集用于开发DocVQA系统，但大多数现有数据集主要集中在单张图像内的内容关系理解，而非跨多张图像的理解。为此，NTT Human Informatics Laboratories的研究团队提出了SlideVQA数据集，该数据集包含2600多个幻灯片组，由52000多张幻灯片图像和14500个关于幻灯片组的问题组成。SlideVQA不仅要求复杂的推理能力，还提供了数值答案的算术表达式注释，以增强数值推理能力。

当前挑战

SlideVQA数据集面临的挑战主要包括：1) 跨多张图像的推理能力，现有模型难以在多张图像间进行有效推理；2) 数值推理能力，模型在处理包含视觉元素和需要数值推理的问题时表现不佳；3) 数据集构建过程中的复杂性，包括高质量注释的获取和多模态信息的整合。这些挑战不仅反映了当前DocVQA领域的技术瓶颈，也为未来的研究提供了明确的方向。

常用场景

经典使用场景

SlideVQA数据集的经典使用场景在于文档视觉问答（Document VQA）领域，特别是在处理包含文本、视觉和布局信息的多图像文档时。该数据集通过提供2.6k+的幻灯片组和14.5k个关于幻灯片组的问题，要求系统进行复杂的推理，包括单跳、多跳和数值推理。这种复杂性使得SlideVQA成为开发和评估能够理解多图像文档内容的VQA系统的理想选择。

解决学术问题

SlideVQA数据集解决了现有VQA数据集在处理多图像文档时的局限性，特别是它们通常只关注单个图像内的内容理解，而忽略了跨图像的复杂推理。通过引入多跳和数值推理问题，SlideVQA推动了模型在处理实际文档时的能力，特别是在需要理解文档布局、文本内容和视觉元素的交互方面。这不仅提升了模型的推理能力，还为开发更智能的文档理解系统提供了新的研究方向。

衍生相关工作

SlideVQA数据集的发布催生了一系列相关研究工作，特别是在多模态学习和文档理解领域。例如，基于SlideVQA的研究已经开发出新的多模态多图像文档VQA模型（如M3D），这些模型能够联合执行证据选择和问答任务，并通过生成算术表达式来增强数值推理能力。此外，SlideVQA还启发了对多跳和数值推理在文档VQA中应用的深入研究，推动了相关数据集和评估方法的发展。