DSSN (DAIICT Spatio-Temporal Network)

这个用于视频理解的时空动作数据集由 4 个部分组成：原始视频、裁剪视频、视频帧和注释文件。该数据集使用了一种新的时空动作多人标注方法。首先，我们使用 ffmpeg 来裁剪视频并为视频加框；然后用yolov5检测视频帧中的人，再用deep sort检测视频帧中人的ID。通过对yolov5和deep sort的检测结果进行处理，得到时空动作数据集的标注文件，完成时空动作数据集的定制工作。This spatio-temporal action dataset for video understanding consists of four components: raw videos, cropped videos, video frames, and annotation files. A novel multi-person annotation method for spatio-temporal actions is adopted for this dataset. First, we use ffmpeg to crop videos and add bounding boxes to them; subsequently, YOLOv5 is employed to detect human subjects in video frames, followed by DeepSORT to track the unique IDs of the detected humans. By processing the detection results from YOLOv5 and DeepSORT, the annotation files for the spatio-temporal action dataset are generated, thus completing the customization of this spatio-temporal action dataset.

搜集汇总

背景与挑战

背景概述

DSSN是一个用于视频理解的时空动作数据集，包含原始视频、裁剪视频、视频帧和注释文件。它采用了一种基于yolov5和deep sort的多人标注方法，以实现时空动作的定制化标注。