TutorialVQA

TutorialVQA数据集由佛罗里达大学和Adobe研究共同创建，专注于教程视频中的问题回答任务。该数据集包含约6,195个手动收集的三元组，包括视频、问题和答案跨度，主要来源于屏幕录制教程视频，涉及图像编辑软件的教学内容。数据集的创建过程涉及从76个教程视频中手动分割出408个视频段，并由亚马逊Mechanical Turk工作者生成相应的问题-答案对。TutorialVQA数据集的应用领域主要在于提高非事实性问题的视频问答技术，解决复杂任务的多步骤答案需求。

The TutorialVQA dataset, co-created by the University of Florida and Adobe Research, focuses on the question answering task in tutorial videos. This dataset contains approximately 6,195 manually collected triplets including videos, questions, and answer spans, which are primarily sourced from screen-recorded tutorial videos covering instructional content for image editing software. The dataset creation process involves manually segmenting 408 video clips from 76 tutorial videos, and generating corresponding question-answer pairs via Amazon Mechanical Turk workers. The main application scenarios of the TutorialVQA dataset lie in advancing video question answering technologies for non-factual questions, and addressing the demand for multi-step answers to complex tasks.

搜集汇总

数据集介绍

构建方式

TutorialVQA数据集基于76个关于图像编辑软件的教学视频构建而成。研究者首先对视频进行预处理，获取每句话的转录文本及其对应的时间戳。随后，邀请标注人员手动将每个视频划分为多个片段，确保每个片段均可作为某个问题的完整答案。在此基础上，通过Amazon Mechanical Turk平台，让工人为每个视频片段生成相关问题，并鼓励提供多样化的问法。为进一步扩充数据，还引入了 paraphrasing 任务，要求工人改写原有问题但保持语义不变。经过质量筛选，最终收集到6,195个非事实型问答三元组，每个三元组包含视频、问题及对应的答案片段。

使用方法

TutorialVQA数据集可用于训练和评估视频问答模型，特别是那些需要定位视频中答案片段的任务。研究者提出了两种基线方法：一是句子级预测任务，通过模型直接预测答案片段的起始和结束句子索引；二是片段检索任务，在预分割的候选片段中选出最匹配问题的答案。实验结果表明，当前模型在该任务上表现有限，即使放宽容忍窗口，准确率仍然较低。这为未来研究指明了方向，例如引入多模态信息（如视觉特征）或采用指针网络等更精细的边界定位策略。数据集提供了完整的视频、转录文本及时间戳信息，便于研究者灵活设计并评估新的算法。

背景与挑战

背景概述

视频问答领域长期以来主要聚焦于事实性问题，其答案通常为简短的词语或短语，难以满足用户对复杂、非事实性问题的需求。尤其是在教学视频中，用户常提出涉及多步骤流程的“如何做”类问题，而现有数据集多基于短片段和简单答案格式，缺乏对长视频中多粒度、连贯性答案的覆盖。为填补这一空白，Adobe Research与佛罗里达大学的研究人员于2020年共同推出了TutorialVQA数据集，该数据集包含约6,000个人工标注的三元组（视频、问题、答案片段），专门针对图像编辑软件的教学屏幕录制视频。其核心研究问题在于将视频问答任务重新定义为答案片段定位问题，而非简单的文本生成，从而推动了对教学视频中非事实性问答的深入探索，对视频理解与问答系统的研究具有重要影响力。

当前挑战

TutorialVQA数据集面临多重挑战。首先，在领域问题层面，现有模型难以处理教学视频中多步骤、非事实性问题的答案定位，因为答案常跨越多个句子且涉及不同粒度，而传统方法仅擅长生成简短的事实性回答。其次，在构建过程中，视频转录文本源自口语对话，具有冗长、非结构化和不连贯的特点，与标准阅读理解的规整文本差异显著，增加了模型理解难度。此外，数据标注面临主观性挑战：标注者需手动将长视频划分为可独立作为答案的片段，并生成多样化问题，初始阶段甚至出现将个人疑问而非视频可回答问题混入的情况，需通过引入无关示例和人工审核过滤低质量数据。最终，基线实验表明，即使采用容忍误差的评估指标，模型准确率仍不足25%，凸显了任务的高难度与对新型算法的迫切需求。

常用场景

经典使用场景

TutorialVQA数据集的核心应用在于教学视频中的非事实型问答任务，尤其聚焦于图像编辑软件的操作指南。该数据集通过提供视频、问题与答案片段的三角标注，使得研究者能够探索如何从冗长且叙述性强的视频中定位包含多步骤指令的答案区间。其经典场景涵盖用户针对“如何操作”类问题，在视频中寻找涉及多个步骤的完整解答，从而推动视频理解从简单事实查询向复杂过程推理的跨越。

解决学术问题

该数据集解决了现有视频问答研究中答案格式单一、局限于简短事实词句的学术瓶颈。传统数据集多关注片段式事实或选择题，而TutorialVQA强调非事实型问题与多粒度答案的定位，弥补了教学视频中多步骤过程性知识问答的空白。其意义在于重新定义了视频问答任务范式，将问题从“是什么”拓展至“如何做”，为构建能够理解复杂指令的模型提供了基准，推动了视频语言理解向更深层次推理演进。

实际应用

在实际应用中，TutorialVQA可赋能智能教学助手与交互式学习平台，使用户能够直接通过自然语言提问获取软件操作教程中的关键步骤片段。例如，用户询问“如何调整图层透明度”，系统可精准返回视频中讲解该操作的连续段落。此外，该数据集可支持视频内容检索系统，通过问答形式提升教程视频的可用性与导航效率，降低用户手动浏览长视频的时间成本。

数据集最近研究

最新研究方向

TutorialVQA数据集聚焦于教学视频中的非事实型问答任务，突破了传统视频问答局限于简短事实性答案的框架，将研究前沿延伸至多步骤、多粒度的答案跨度定位。该数据集以图像编辑软件的教学视频为切入点，通过人工标注约6000组视频-问题-答案跨度三元组，揭示了教学视频中回答往往涉及复杂流程和分散信息的特点。当前研究热点集中于利用视频转录文本进行答案跨度预测与片段检索，实验表明现有基线模型（如基于注意力机制的LSTM和TF-IDF管道检索）在精确边界定位上仍面临显著挑战，准确率普遍偏低。这一方向推动了视频理解从简单事实提取向深层语义推理的转变，对在线教育、智能助手等领域的交互式知识获取具有重要启示意义。

相关研究论文

• TutorialVQA: Question Answering Dataset for Tutorial Videos

  佛罗里达大学, Adobe研究 · 2020年