ApartmenTour

我们通过在没有明确注释的情况下学习句子和嘈杂的视频片段之间的映射来教机器理解视觉和自然语言。首先，我们定义了一个捕获跨模态信息的自我监督学习框架。然后引入一个新颖的对抗学习模块来明确处理自然视频中的噪声，其中不保证字幕句子与视频片段强烈对应。为了训练和评估，我们提供了一个新的数据集“ApartmentTour”，其中包含大量在线视频和字幕。我们对句子和视频之间的双向检索任务进行了实验，结果表明我们提出的模型在两个检索任务上都达到了最先进的性能，并超过了几个强大的基线。