Drive&Act Dataset

The Drive&Act dataset is a state of the art multi modal benchmark for driver behavior recognition. The dataset includes 3D skeletons in addition to frame-wise hierarchical labels of 9.6 Million frames captured by 6 different views and 3 modalities (RGB, IR and depth).

It offers following key features:

12h of video data in 29 long sequences
Calibrated multi view camera system with 5 views
Multi modal videos: NIR, Depth and Color data
Markerless motion capture: 3D Body Pose and Head Pose
Model of the static interior of the car
83 manually annotated hierarchical activity labels:
Level 1: Long running tasks (12)
Level 2: Semantic actions (34)
Level 3: Object Interaction tripplets [action|object|location] (6|17|14)

Drive&Act 数据集是一项尖端的多模态基准数据集，旨在用于驾驶员行为识别。该数据集不仅包含由六个不同视角和三种模态（RGB、红外和深度）捕捉的 960 万帧图像的帧级分层标签，还包含了三维骨架信息。数据集具备以下关键特性：

- 12小时的视频数据，分为29个长序列
- 配准的多视角摄像头系统，包含5个视角
- 多模态视频：近红外、深度和彩色数据
- 无标记的运动捕捉：3D人体姿态和头部姿态
- 车内静态内部结构的模型
- 83个手动标注的分层活动标签：
- 第一层：长期运行任务（12个）
- 第二层：语义动作（34个）
- 第三层：物体交互三元组 [动作|对象|位置]（6个动作|17个对象|14个位置）