ApartmenTour

我们通过在没有明确注释的情况下学习句子和嘈杂的视频片段之间的映射来教机器理解视觉和自然语言。首先，我们定义了一个捕获跨模态信息的自我监督学习框架。然后引入一个新颖的对抗学习模块来明确处理自然视频中的噪声，其中不保证字幕句子与视频片段强烈对应。为了训练和评估，我们提供了一个新的数据集“ApartmentTour”，其中包含大量在线视频和字幕。我们对句子和视频之间的双向检索任务进行了实验，结果表明我们提出的模型在两个检索任务上都达到了最先进的性能，并超过了几个强大的基线。

搜集汇总

背景与挑战

背景概述

ApartmenTour是一个自监督学习数据集，用于学习句子与嘈杂视频片段之间的映射，通过对抗学习模块处理噪声，在双向检索任务中达到最先进的性能。该数据集由牛津大学等机构于2020年发布，包含大量在线视频和字幕。