RAD (RELEVANCE AND DIVERSITY DATASET)

该数据集对于查询自适应视频摘要很有用，并带有多样性和特定于查询的相关标签进行注释。尽管自动视频摘要的问题最近受到了很多关注，但创建视频摘要的问题也突出了与搜索查询的研究较少。我们通过将查询相关摘要作为视频帧子集选择问题来解决这个问题，这使我们能够优化同时多样化、代表整个视频并且与文本查询相关的摘要。我们通过测量由神经网络诱导的常见文本-视觉语义嵌入空间中的帧和查询之间的距离来量化相关性。此外，我们扩展模型以捕获与查询无关的属性，例如帧质量。我们将我们的方法与先前用于缩略图选择的文本视觉嵌入技术进行比较，并表明我们的模型在相关性预测方面优于它们。此外，我们引入了一个新的数据集，用多样性和查询特定的相关性标签进行注释。在这个数据集上，我们训练和测试了我们完整的视频摘要模型，并表明它优于标准基线，例如最大边际相关性。