Transition Dataset

我们使用编辑软件上的公开视频模板来收集大规模视频过渡数据集。然后，我们将VTR公式化为从视觉/音频到视频过渡的多模态检索问题，并提出了一种新颖的多模态匹配框架，该框架由两部分组成。首先，我们通过视频转换分类任务学习视频转换的嵌入。然后，我们提出了一个模型来学习从视觉/音频输入到视频转换的匹配对应关系。具体来说，所提出的模型采用多模态变压器来融合视觉和音频信息，并在顺序过渡输出中捕获上下文提示。通过定量和定性实验，我们清楚地证明了我们方法的有效性。We collected a large-scale video transition dataset using public video templates from editing software. Then, we formulate VTR as a multimodal retrieval task from visual/audio inputs to video transitions, and propose a novel multimodal matching framework consisting of two parts. First, we learn embeddings for video transitions via a video transition classification task. Next, we propose a model to learn matching correspondences from visual/audio inputs to video transitions. Specifically, the proposed model adopts a multimodal Transformer to fuse visual and audio information, and captures contextual cues in sequential transition outputs. Through both quantitative and qualitative experiments, we clearly demonstrate the effectiveness of our proposed method.

搜集汇总

背景与挑战

背景概述

Transition Dataset是一个大规模视频过渡数据集，用于研究多模态视频过渡检索问题，由中国科学院、中国科学院大学和字节跳动于2022年联合发布。