SlideVQA

SlideVQA是一个针对多图像文档视觉问答（VQA）的新数据集，由NTT人类信息学实验室创建。该数据集包含超过2.6万个幻灯片组，总计超过5.2万张幻灯片图像和1.45万个问题，旨在测试和提升模型在多图像环境下的复杂推理能力，包括单跳、多跳和数值推理。SlideVQA的创建过程涉及从slideshare下载幻灯片，并通过严格的筛选和标注过程确保数据质量。该数据集的应用领域主要集中在提升机器阅读理解能力，特别是在处理包含文本、视觉和布局信息的复杂文档时。

SlideVQA is a novel dataset for multi-image document visual question answering (VQA), developed by the NTT Human Informatics Laboratories. It contains over 26,000 slide decks, totaling more than 52,000 slide images and 14,500 questions, which aims to test and enhance the complex reasoning capabilities of models in multi-image scenarios, including single-hop, multi-hop, and numerical reasoning. The creation of SlideVQA involves downloading slides from Slideshare, followed by a rigorous filtering and annotation process to ensure data quality. The primary application areas of this dataset focus on improving machine reading comprehension abilities, especially when dealing with complex documents that incorporate textual, visual, and layout information.

搜集汇总

数据集介绍

构建方式

SlideVQA数据集的构建方式独具匠心，通过精心筛选和下载超过25,327个包含20张以上幻灯片的演示文稿，涵盖39个主题，确保了数据集的广泛性和多样性。随后，通过严格的筛选标准，保留了符合英语语言、内容易于理解且包含图表、表格或数值数据的幻灯片，从而避免了仅依赖文本理解的局限性。此外，数据集还对所有图像进行了边界框和类别的标注，进一步增强了数据集的语义理解和布局分析能力。

特点

SlideVQA数据集的显著特点在于其多图像文档视觉问答的复杂性，涵盖了单跳、多跳和数值推理等多种推理类型。数据集不仅包含了超过52,000张幻灯片图像和14,500个问题，还提供了数值答案的算术表达式标注，极大地提升了数值推理的能力。此外，SlideVQA还提供了大量的边界框标注，使得模型能够更好地理解文档的布局和视觉元素。

使用方法

SlideVQA数据集的使用方法多样，适用于开发和评估多图像文档视觉问答系统。研究者可以通过提供的训练集、开发集和测试集进行模型的训练和验证。数据集支持多种任务，包括证据选择和问题回答，模型可以通过多任务学习的方式进行联合训练。此外，SlideVQA还提供了详细的标注信息，如边界框和算术表达式，帮助模型更好地理解和推理文档内容。

背景与挑战

背景概述

近年来，文档图像上的视觉问答（Document Visual Question Answering, DocVQA）引起了广泛关注，这一任务要求系统能够理解和回答包含文本、视觉和布局信息的文档图像。尽管已有多个数据集用于开发DocVQA系统，但大多数现有数据集主要集中在单张图像内的内容关系理解，而非跨多张图像的理解。为此，NTT Human Informatics Laboratories的研究团队提出了SlideVQA数据集，该数据集包含2600多个幻灯片组，由52000多张幻灯片图像和14500个关于幻灯片组的问题组成。SlideVQA不仅要求复杂的推理能力，还提供了数值答案的算术表达式注释，以增强数值推理能力。

当前挑战

SlideVQA数据集面临的挑战主要包括：1) 跨多张图像的推理能力，现有模型难以在多张图像间进行有效推理；2) 数值推理能力，模型在处理包含视觉元素和需要数值推理的问题时表现不佳；3) 数据集构建过程中的复杂性，包括高质量注释的获取和多模态信息的整合。这些挑战不仅反映了当前DocVQA领域的技术瓶颈，也为未来的研究提供了明确的方向。

常用场景

经典使用场景

SlideVQA数据集的经典使用场景在于文档视觉问答（Document VQA）领域，特别是在处理包含文本、视觉和布局信息的多图像文档时。该数据集通过提供2.6k+的幻灯片组和14.5k个关于幻灯片组的问题，要求系统进行复杂的推理，包括单跳、多跳和数值推理。这种复杂性使得SlideVQA成为开发和评估能够理解多图像文档内容的VQA系统的理想选择。

解决学术问题

SlideVQA数据集解决了现有VQA数据集在处理多图像文档时的局限性，特别是它们通常只关注单个图像内的内容理解，而忽略了跨图像的复杂推理。通过引入多跳和数值推理问题，SlideVQA推动了模型在处理实际文档时的能力，特别是在需要理解文档布局、文本内容和视觉元素的交互方面。这不仅提升了模型的推理能力，还为开发更智能的文档理解系统提供了新的研究方向。

衍生相关工作

SlideVQA数据集的发布催生了一系列相关研究工作，特别是在多模态学习和文档理解领域。例如，基于SlideVQA的研究已经开发出新的多模态多图像文档VQA模型（如M3D），这些模型能够联合执行证据选择和问答任务，并通过生成算术表达式来增强数值推理能力。此外，SlideVQA还启发了对多跳和数值推理在文档VQA中应用的深入研究，推动了相关数据集和评估方法的发展。