AssIstive Driving pErception dataset (AIDE)

AIDE数据集是由复旦大学工程与技术研究院创建，旨在支持辅助驾驶感知研究。该数据集包含2898个样本，涵盖了多视角、多模态和多任务的驾驶数据，包括驾驶员的面部、身体、姿势和手势信息，以及车辆外部环境。数据集通过四个不同的摄像头视角捕捉，支持驾驶员行为、情绪、交通环境和车辆状态的识别任务。AIDE数据集的设计旨在解决驾驶员分心等安全问题，通过提供全面的数据资源，促进辅助驾驶系统的发展。

The AIDE dataset was developed by the Institute of Engineering and Technology, Fudan University, to support research on perception for assisted driving. This dataset comprises 2898 samples, covering multi-view, multi-modal and multi-task driving data, including driver facial, bodily, postural and gesture information, as well as the external environment of vehicles. Captured through four distinct camera viewpoints, it supports recognition tasks related to driver behaviors, emotions, traffic environments and vehicle states. The AIDE dataset is designed to address safety issues including driver distraction, and advance the development of assisted driving systems via comprehensive data resources.

搜集汇总

数据集介绍

构建方式

AIDE 数据集的构建采用了多种视角、多模态和多任务的设计理念。数据采集过程中，使用了四台 Axis 摄像头，分别安装在车辆的前方、左右侧后视镜以及车内驾驶员侧方，以捕捉车内驾驶员状态和车外交通场景的丰富信息。数据标注方面，邀请了 12 位专业数据工程师进行独立盲注，并通过多数投票规则确定最终标签。数据集涵盖了驾驶员行为、情绪、交通场景和车辆状态等多个方面的信息，并针对每个任务类别进行了详细标注。

特点

AIDE 数据集具有以下特点：1）多视角：四台摄像头从不同角度捕捉车内驾驶员状态和车外交通场景，为驾驶感知提供了更全面的信息；2）多模态：数据集包含驾驶员的面部、身体、姿态和手势等多模态信息，有助于更全面地理解驾驶员状态；3）多任务：数据集设计了驾驶员行为识别、驾驶员情绪识别、交通场景识别和车辆状态识别等四个实用任务，为驾驶感知研究提供了更全面的视角。

使用方法

AIDE 数据集可用于驾驶感知研究，例如驾驶员状态监测、驾驶辅助系统开发等。使用数据集时，可根据研究任务选择合适的视角、模态和任务类别。例如，进行驾驶员行为识别研究时，可以使用车内视角的视频数据和驾驶员行为类别标签；进行交通场景识别研究时，可以使用车外视角的视频数据和交通场景类别标签。此外，数据集还提供了多模态融合模块和学习策略，可以帮助研究人员更有效地利用多模态信息。

背景与挑战

背景概述

随着自动驾驶技术从 L2 级别向 L3 级别的过渡，驾驶安全问题日益受到关注。世界卫生组织数据显示，每年全球约有 135 万人死于道路交通事故，其中约五分之一的事故是由于驾驶员分心导致的。驾驶员监控系统 (DMS) 成为提高道路安全的重要手段，而视觉感知信息是 DMS 的主要信息来源。然而，现有的 DMS 数据集大多只关注车内视图，忽略了车外场景信息，也无法全面评估驾驶员的情绪状态。为了解决这些问题，复旦大学工程与技术学院的杨鼎康等人于 2023 年 8 月提出了 AssIstive Driving pErception dataset (AIDE) 数据集。AIDE 数据集具有三个显著特点：多视图设置、多模态标注和多任务设计。AIDE 数据集旨在促进驾驶员监控系统的研究，并推动自动驾驶技术的发展。

当前挑战

AIDE 数据集面临的主要挑战包括：1) 多视图感知的挑战：如何有效地融合来自不同视角的信息，并从中提取有用的特征；2) 多模态标注的挑战：如何准确地标注驾驶员的面部、身体、姿态和手势信息，并确保标注的一致性和可靠性；3) 多任务设计的挑战：如何设计有效的多任务学习框架，并解决不同任务之间的相互影响问题；4) 数据集不平衡的挑战：如何处理不同类别数据样本数量不均衡的问题，并提高模型的泛化能力。

常用场景

经典使用场景

AIDE数据集的多视图、多模态和多任务特性使其在辅助驾驶感知领域具有广泛的应用价值。该数据集包含车内外的四个视角，以及驾驶员的面部、身体、姿态和手势等多模态标注信息，为驾驶状态监测、情绪识别、行为识别、交通场景识别和车辆状态识别等任务提供了丰富的数据资源。基于AIDE数据集，研究人员可以开发更智能的驾驶员监控系统，通过实时监测驾驶员的状态和意图，及时识别潜在的驾驶风险，并采取相应的干预措施，从而提高道路安全性和交通效率。

实际应用

AIDE数据集的实际应用场景主要包括以下几个方面：1. 驾驶员监控系统开发：基于AIDE数据集，研究人员可以开发更智能的驾驶员监控系统，通过实时监测驾驶员的状态和意图，及时识别潜在的驾驶风险，并采取相应的干预措施，从而提高道路安全性和交通效率。2. 驾驶辅助系统开发：基于AIDE数据集，研究人员可以开发更智能的驾驶辅助系统，通过识别驾驶员的情绪和行为，为驾驶员提供个性化的驾驶建议，从而提高驾驶舒适性和安全性。3. 自动驾驶技术研发：基于AIDE数据集，研究人员可以开发更智能的自动驾驶技术，通过识别驾驶员的状态和意图，以及交通场景和车辆状态等信息，实现更安全的自动驾驶。

衍生相关工作

AIDE数据集的提出促进了辅助驾驶感知领域的研究进展，衍生了许多相关的经典工作。例如，基于AIDE数据集，研究人员提出了多种融合策略，例如自适应融合模块和交叉注意力融合模块，用于学习有效的多流/模态表示。此外，AIDE数据集还促进了驾驶员情绪识别、行为识别、交通场景识别和车辆状态识别等任务的研究进展，为更全面的驾驶状态监测提供了数据基础和技术支持。