Something-Something V2

在 ImageNet 等数据集上训练的神经网络在视觉对象分类方面取得了重大进展。阻止网络对复杂场景和情况进行更深入的推理以及像人类一样将视觉知识与自然语言相结合的一个障碍是它们缺乏对物理世界的常识知识。与静止图像不同，视频包含有关物理世界的大量详细信息。然而，大多数带标签的视频数据集代表高级概念，而不是关于动作和场景的详细物理方面。在这项工作中，我们描述了我们正在进行的视频预测任务“某事”数据库的收集，其解决方案需要对所描述情况的常识性理解。该数据库目前包含 174 个类别的 100,000 多个视频，这些视频被定义为字幕模板。我们还描述了大规模众包这些数据的挑战。