Drive&Act Dataset

The Drive&Act dataset is a state of the art multi modal benchmark for driver behavior recognition. The dataset includes 3D skeletons in addition to frame-wise hierarchical labels of 9.6 Million frames captured by 6 different views and 3 modalities (RGB, IR and depth). It offers following key features: 12h of video data in 29 long sequences Calibrated multi view camera system with 5 views Multi modal videos: NIR, Depth and Color data Markerless motion capture: 3D Body Pose and Head Pose Model of the static interior of the car 83 manually annotated hierarchical activity labels: Level 1: Long running tasks (12) Level 2: Semantic actions (34) Level 3: Object Interaction tripplets [action|object|location] (6|17|14)Drive&Act 数据集是一项尖端的多模态基准数据集，旨在用于驾驶员行为识别。该数据集不仅包含由六个不同视角和三种模态（RGB、红外和深度）捕捉的 960 万帧图像的帧级分层标签，还包含了三维骨架信息。数据集具备以下关键特性： - 12小时的视频数据，分为29个长序列 - 配准的多视角摄像头系统，包含5个视角 - 多模态视频：近红外、深度和彩色数据 - 无标记的运动捕捉：3D人体姿态和头部姿态 - 车内静态内部结构的模型 - 83个手动标注的分层活动标签： - 第一层：长期运行任务（12个） - 第二层：语义动作（34个） - 第三层：物体交互三元组 [动作|对象|位置]（6个动作|17个对象|14个位置）