DataoceanAI/DMS_of_Foreign_Adult_Product_Corpus

该数据集是一个用于驾驶监控系统（DMS）研究的驾驶舱数据集，专门收集外国成年人的红外视频和图像。数据集包括700名外国成年人，其中20%为黑人，80%为白人。数据收集使用了25个固定摄像头和一个辅助摄像头进行同步记录，涉及多种光照条件和道具（如帽子、眼镜、口罩等）。数据集包含动作捕捉视频和凝视捕捉图像，以及校准数据。视频动作捕捉场景分为18个基本场景和8个附加场景，共26类。数据集还包括约730,000个视频片段和约204,554,000张凝视和动作图像，以及1,400,000张校准图像。

This dataset is a cabin DMS (Driver Monitoring System) for foreign adult data collection, capturing IR (Infrared) videos and images. It includes 700 foreign adults, with 20% Blacks and 80% Whites. Data collection involved 25 fixed cameras and one additional camera for synchronized recording, under various lighting conditions and with props (e.g., hats, glasses, masks). The dataset contains videos for action capture and images for gaze capture, along with calibration data. The video action capture scenarios are divided into 18 basic scenes and 8 additional scenes, totaling 26 categories. The dataset includes approximately 730,000 video segments and about 204,554,000 gaze and action images, as well as 1,400,000 calibration images.

原始信息汇总

数据集概述

描述

• 数据类型: 红外（IR）视频和图像
• 目标对象: 700名外国成年人，其中20%为黑人，80%为白人
• 性别分布: 70%男性，30%女性
• 拍摄模式: 个体拍摄，车内布置25个固定摄像头进行同步录制，另有一个辅助摄像头
• 道具配置: 帽子（20%）、普通眼镜（25%）、太阳镜（25%）、口罩（20%），配置随机重叠
• 车辆模型: 5座乘用车，包括smart、比亚迪海豚和比亚迪宋，共三款车型，拍摄时车辆静止
• 光照条件: 正面光照、背光、侧光、车内照明、路灯、树荫下、迎面车灯、阴天、雨天
• 内容类型: 动作捕捉视频和注视捕捉图像，包含校准数据
• 场景分类: 18个基础场景和8个附加场景，共26个类别
• 动作捕捉: 包含18个基础动作，部分数据包含8个附加场景，头部动作分为两种，随机执行，各占50%
• 数据量:
  • 约730,000个视频片段，每个片段约30秒
  • 约204,554,000张注视和动作图像
  • 700,000张原始校准图像
  • 700,000张校准输出图像

采集环境

• 注视位置: 车内30个注视位置，包括11个固定摄像头位置和19个移动摄像头位置
• 图像捕捉:
  • 注视固定摄像头位置时，同时捕捉25个固定摄像头图像
  • 注视移动摄像头位置时，同时捕捉25个固定摄像头图像和1个移动摄像头图像

搜集汇总

数据集介绍

构建方式

在智能驾驶领域，驾驶员监控系统（DMS）的数据集构建至关重要。本数据集通过精心设计的采集流程，在静止车辆内使用25个固定摄像头和一个辅助摄像头进行同步录制，覆盖700名外国成人参与者，其中20%为黑人，80%为白人。采集模式为个体独立拍摄，道具配置随机重叠，包括帽子、普通眼镜、太阳镜和口罩。拍摄环境模拟多种光照条件，如正面光、背光、侧光及雨天等，确保数据多样性。动作捕捉涵盖18个基本场景和8个附加场景，视频段约73万段，每段持续30秒，同时采集头部运动和凝视数据，图像总数超过2亿张，包括原始校准和输出图像，存储于不同文件夹以支持结构化分析。

特点

该数据集在驾驶员行为分析领域展现出显著特点。其核心在于多模态数据的丰富性，不仅包含红外视频和图像，还细致区分动作与凝视捕捉，视频用于动作记录，图像则专注于凝视追踪。数据覆盖广泛的光照与天气条件，从车内照明到街灯、树荫及迎面车灯，增强了模型的鲁棒性。参与者性别比例为70%男性与30%女性，道具使用随机化，避免了偏差。此外，数据集提供了详尽的校准数据，支持精确的检测和重投影任务，图像数量庞大，确保了训练深度学习模型时的充分样本支持。

使用方法

在自动驾驶研究中，本数据集为驾驶员监控系统的开发提供了实用资源。研究人员可首先利用视频段进行动作识别模型的训练，涵盖26个场景类别，以分析驾驶员行为模式。凝视图像可用于视线估计任务，结合固定和移动摄像头位置的数据，提升空间感知能力。校准图像则适用于相机参数优化和检测算法验证。使用时应遵循数据文件夹结构，分别从images、detection和reprojection目录中提取相应数据，进行多任务学习或联合训练，以增强系统在复杂环境下的性能。数据集链接提供更详细信息，便于深入探索和应用扩展。

背景与挑战

背景概述

在智能驾驶技术迅猛发展的背景下，驾驶员监控系统（DMS）作为提升行车安全的关键组件，其性能高度依赖于高质量、多样化的训练数据。DataoceanAI/DMS_of_Foreign_Adult_Product_Corpus数据集由DataoceanAI机构创建，专注于收集外国成年人的红外视频与图像数据，旨在解决DMS在复杂真实场景中的鲁棒性难题。该数据集通过多车辆、多光照条件及多样化道具配置，模拟了驾驶舱内的实际环境，核心研究问题在于如何准确识别驾驶员的动作与注视行为，从而预防分心或疲劳驾驶，对自动驾驶安全领域的研究与实践具有重要推动作用。

当前挑战

该数据集面临的挑战主要体现在两个方面：在领域问题层面，驾驶员监控需应对高动态环境下的动作与注视识别，例如不同光照、遮挡物（如帽子、眼镜、口罩）及多样头部姿态带来的视觉变异，这要求模型具备强大的泛化与抗干扰能力；在构建过程中，挑战包括大规模同步数据采集的协调复杂性，如25个固定摄像头的同步录制、多种光照与天气条件的模拟，以及700名参与者动作的随机化设计，这些因素均增加了数据标注、质量控制与存储管理的难度。

常用场景

经典使用场景

在智能驾驶领域，驾驶员监控系统（DMS）的研发依赖于高质量的多模态数据支撑。DataoceanAI/DMS_of_Foreign_Adult_Product_Corpus数据集以其丰富的红外视频与图像资源，成为训练和验证DMS算法模型的经典选择。该数据集涵盖了多种光照条件、驾驶舱内固定与移动相机视角，以及多样化的驾驶员动作与注视行为，为算法提供了接近真实驾驶环境的仿真场景，尤其适用于动作识别与视线追踪任务的模型优化。

衍生相关工作

基于该数据集衍生的经典工作主要集中在多模态融合与实时监测算法领域。例如，结合红外视频与图像数据，研究者开发了高效的驾驶员动作分类网络，以及跨视角视线跟踪模型。这些工作不仅发表在顶级计算机视觉会议中，还进一步催生了开源工具库与标准化评估协议，促进了整个DMS研究社区的协作与创新。

数据集最近研究

最新研究方向

在智能驾驶领域，驾驶员监控系统（DMS）的数据集正成为提升安全性与可靠性的关键资源。DataoceanAI/DMS_of_Foreign_Adult_Product_Corpus以其大规模红外视频与图像数据，聚焦于多民族成人样本，涵盖了复杂光照条件与多样化道具配置，为跨文化环境下的驾驶员行为分析提供了坚实基础。当前前沿研究集中于利用该数据集开发鲁棒的视觉算法，以应对遮挡、光照变化及多角度同步记录带来的挑战，推动自动驾驶系统中实时疲劳检测与注意力评估技术的进步。热点事件如全球自动驾驶法规的完善，进一步凸显了此类数据集在确保算法公平性与泛化能力方面的重要意义，为行业标准制定与伦理考量提供了实证支持。