Transition Dataset

我们使用编辑软件上的公开视频模板来收集大规模视频过渡数据集。然后，我们将VTR公式化为从视觉/音频到视频过渡的多模态检索问题，并提出了一种新颖的多模态匹配框架，该框架由两部分组成。首先，我们通过视频转换分类任务学习视频转换的嵌入。然后，我们提出了一个模型来学习从视觉/音频输入到视频转换的匹配对应关系。具体来说，所提出的模型采用多模态变压器来融合视觉和音频信息，并在顺序过渡输出中捕获上下文提示。通过定量和定性实验，我们清楚地证明了我们方法的有效性。