V2C (Video-to-Commonsense)

我们展示了直接从视频中生成常识字幕的第一项工作，以描述意图、效果和属性等潜在方面。我们提出了一个新的数据集“视频到常识（V2C）”，其中包含约 9k 个人类代理执行各种动作的视频，并用 3 种常识描述进行注释。

This work presents the first study to generate commonsense captions directly from videos, which describe latent aspects such as intentions, effects and attributes. We introduce a novel dataset named Video-to-Commonsense (V2C), which contains approximately 9k videos of human agents performing various actions, and all these videos are annotated with three types of commonsense descriptions.

搜集汇总

背景与挑战

背景概述

V2C (Video-to-Commonsense) 是一个用于从视频生成常识描述的数据集，包含约9k个人类动作视频，每个视频标注了三种常识描述，以增强视频字幕的丰富性。该数据集由亚利桑那州立大学于2020年发布，是首个专注于视频到常识生成的工作。