DocVideoQA

DocVideoQA数据集是由北京大学创建的，包含1454个涉及23个类别的文档中心视频，总时长约828小时。该数据集通过人工和GPT技术生成了154K个问题答案对，用于评估模型在理解、时间意识和模态整合方面的能力。数据集旨在促进文档视频问答的研究，特别是在线教育和远程工作等领域的应用。

The DocVideoQA dataset was developed by Peking University. It comprises 1,454 document-centric videos across 23 categories, with an overall duration of approximately 828 hours. A total of 154K question-answer pairs were generated via both manual annotation and GPT-based technologies for this dataset, aiming to evaluate models' capabilities in comprehension, temporal awareness, and multimodal integration. This dataset is designed to promote research on document video question answering, especially for applications in fields such as online education and remote work.

搜集汇总

数据集介绍

构建方式

DocVideoQA数据集的构建过程体现了对文档中心视频多模态特性的深度考量。研究团队从SlideSpeech数据集和SlidesLive平台精选了1,454个以幻灯片为主的英文视频，涵盖23个专业领域，总时长约828小时。通过结合人工标注与GPT-4生成的双重策略，构建了包含154K问答对的标注体系。视觉方面采用MMOCR工具包进行文本检测与序列还原，音频内容通过Whisper模型转录并人工校验，最终形成包含信息抽取、内容理解和时序感知三大任务维度的评估体系。

特点

该数据集在视频问答领域具有显著差异化特征。其核心价值在于首次系统性地整合了文档视频特有的富文本布局、专业术语音频及跨页时序关系等多模态挑战。相比传统VideoQA数据集平均44秒的时长，DocVideoQA单视频平均达23分钟，通过子视频分割技术形成74K个语义单元。问答对设计不仅涵盖常规视觉元素理解，更创新性地引入对文档排版逻辑、视听互补关系的深度推理要求，为模型提供了接近真实教育和工作场景的复杂测试环境。

使用方法

使用DocVideoQA需遵循多阶段渐进式研究范式。初级阶段可基于开源MLLMs建立基线性能，重点关注模型对文档特有视觉元素（如公式、表格）的解析能力。进阶研究推荐采用数据集配套的DV-LLaMA框架，通过三阶段训练策略：先分别增强视觉与音频分支的特征提取能力，再通过对比学习实现模态对齐，最终利用LoRA技术进行多模态融合微调。评估时采用改进的BERT分数指标（阈值T=0.8），兼顾语义相似性而非严格字面匹配，更符合实际应用场景的需求。

背景与挑战

背景概述

DocVideoQA数据集由北京大学和中国科学技术大学的研究团队于2025年推出，旨在解决文档中心视频的全面理解问题。随着远程工作和在线教育的普及，文档型教学视频成为知识传播的重要媒介，这些视频包含密集的文本图像和音频信息，需要高级的多模态理解能力。该数据集包含1,454个视频，涵盖23个类别，总时长约828小时，并标注了154K个问答对，用于评估模型的理解、时间感知和多模态整合能力。DocVideoQA的推出填补了文档中心视频问答领域的空白，为相关研究提供了重要资源。

当前挑战

DocVideoQA数据集面临的挑战主要包括两个方面：领域问题的挑战和构建过程的挑战。在领域问题方面，文档中心视频包含丰富的文本、复杂的布局关系以及专业术语的音频内容，模型需要具备高级的文本和布局分析能力，以及理解复杂视听交互的能力。在构建过程中，数据集的标注需要处理多模态信息的整合，包括视觉内容的OCR提取、音频内容的转录，以及问答对的设计和生成。此外，长视频的处理和多模态特征的融合也是构建过程中的技术难点。

常用场景

经典使用场景

在远程教育和在线知识传播日益普及的背景下，DocVideoQA数据集为研究文档中心视频的复杂理解提供了重要平台。该数据集通过154K个问题-答案对，覆盖了23个不同领域的1,454个视频，总时长约828小时。其经典使用场景包括模型对视频内容的理解能力测试，特别是在多模态信息（如文本、图像和音频）的整合与时间感知方面。数据集的设计不仅支持基础的视觉问答任务，还扩展至对复杂文档布局和跨模态交互的深入分析，为研究者提供了一个全面的评估框架。

实际应用

DocVideoQA数据集的实际应用场景广泛，尤其在教育和远程办公领域表现突出。在教育场景中，该数据集可用于开发智能复习辅助系统，帮助学生快速定位在线课程视频中的关键知识点；在远程办公中，则能支持会议摘要生成和讨论重点提取，提升信息处理效率。此外，其多模态特性还为无障碍技术（如自动字幕生成和内容摘要）提供了研究基础，助力残障人士更便捷地获取视频信息。

衍生相关工作

基于DocVideoQA数据集，研究者提出了DV-LLaMA模型，通过三阶段训练（单模态特征增强、对比学习对齐和多模态融合）显著提升了文档视频的理解性能。该工作衍生了一系列创新方法，如利用LoRA技术微调大语言模型、跨模态对比学习框架设计等。此外，数据集还启发了对SlideVQA、OCR-VQA等任务的扩展研究，推动了多模态模型在专业领域（如学术演讲、商业报告）中的应用。这些工作共同构成了文档视频理解领域的前沿技术体系。