MovieCLIP

电影等长篇媒体具有复杂的叙事结构，事件跨越了各种各样的环境视觉场景。与电影中的视觉场景相关的特定领域挑战包括过渡，人员覆盖以及各种现实生活和虚构场景。电影中现有的视觉场景数据集的分类有限，并且不考虑电影剪辑中的视觉场景过渡。在这项工作中，我们通过首先自动管理从电影脚本和基于web的辅助视频数据集派生的179场景标签的新的且广泛的以电影为中心的分类法来解决电影中的视觉场景识别问题。代替手动注释，这可能是昂贵的，我们使用剪辑弱标签112万镜头从32k电影剪辑基于我们提出的分类法。我们提供在称为MovieCLIP的弱标记数据集上训练的基线视觉模型，并在由人类评估者验证的独立数据集上对其进行评估。我们证明，利用在MovieCLIP上预先训练过的模型中的功能可以使下游任务受益，例如web视频和电影预告片的多标签场景和流派分类。