Kinetic-GEB+

我们引入了一个名为动力学-GEB的新数据集。数据集由170多个边界组成，这些边界与描述12k视频中通用事件状态变化的字幕相关联。在这个新数据集上，我们提出了三个任务 (边界字幕，边界接地和边界字幕-视频检索)，以支持通过状态更改对视频进行更细粒度，健壮和类似人类的理解。We introduce a novel dataset named Dynamics-GEB. The dataset comprises over 170 temporal boundaries, which are associated with captions that describe state changes of general events across 12,000 videos. On this new dataset, we propose three tasks: boundary captioning, boundary grounding, and boundary caption-video retrieval, to enable finer-grained, robust, and human-like understanding of videos via state changes.

搜集汇总

背景与挑战

背景概述

Kinetic-GEB+是一个由南洋理工大学实验室和Meta AI于2022年发布的数据集，包含170多个边界与12k视频字幕的关联，旨在通过三个任务支持对视频的细粒度理解。数据集大小为8.0MB，相关论文和发布信息可通过提供的链接获取。