PhysDrive Dataset

PhysDrive是一个多模态远程生理测量数据集，用于车内驾驶员监测，由香港科技大学（广州）收集。该数据集包含约24小时（1500K帧）的RGB相机、近红外相机和毫米波雷达的录制数据，涉及48名受试者。数据集设计用于非接触式车内生理传感，考虑了多种模态设置和驾驶因素，包括三种车辆类型、四种照明条件、三种道路条件和驾驶员动作。数据集包含六种同步地面真实数据（ECG、BVP、呼吸、HR、RR和SpO2），可与rPPG-toolbox一起使用。

PhysDrive is a multimodal remote physiological measurement dataset designed for in-vehicle driver monitoring, collected by the Hong Kong University of Science and Technology (Guangzhou). The dataset encompasses approximately 24 hours (1.5 million frames) of recorded data from RGB cameras, near-infrared cameras, and millimeter-wave radar, involving 48 participants. Designed for non-contact in-vehicle physiological sensing, the dataset considers various modal settings and driving factors, including three types of vehicles, four lighting conditions, three road conditions, and driver actions. It includes six synchronized ground-truth data (ECG, BVP, respiration, HR, RR, and SpO2) that can be used in conjunction with the rPPG-toolbox.

原始信息汇总

PhysDrive 数据集概述

数据集基本信息

• 名称: PhysDrive Dataset
• 机构: 香港科技大学（广州）
• 数据类型: 多模态远程生理测量数据
• 数据量: 约24小时（1500K帧）
• 受试者数量: 48人

数据采集内容

• 采集设备:
  • RGB摄像头
  • 近红外摄像头（NIR）
  • mmWave雷达
• 同步地面真值:
  • ECG（心电图）
  • BVP（血容量脉冲）
  • Respiration（呼吸信号）
  • HR（心率）
  • RR（呼吸率）
  • SpO2（血氧饱和度）

实验设计因素

• 车辆类型: 3种
• 光照条件: 4种
• 道路条件: 3种
• 驾驶员动作: 多种

数据集结构

预处理数据集

• mmWave数据:
  • 文件结构: mmWave/[受试者ID]/[会话ID]/
    • resp.mat: 呼吸信号
    • mmwave.mat: 处理后的mmWave雷达信号
    • ecg.mat: ECG信号
• RGB和IR数据（示例）:
  • 文件结构: RGB and IR (one subject sample)/[受试者ID]/
    • IR.mp4: 红外视频
    • RGB.mp4: RGB视频
    • Recording_Physiological_Data.csv: 生理数据及对应时间戳
    • Label/: 包含过滤后的生理信号
    • STMap/: 空间-时间映射图

访问与使用

• 用途限制: 仅限学术使用，禁止商业用途
• 数据集版本:
  • 预处理数据: 包含一个受试者的原始RGB和NIR数据，以及所有受试者的预处理mmWave数据
    • 访问地址: https://www.kaggle.com/datasets/xiaoyang274/physdrive
  • 原始数据: 包含所有受试者的原始数据，需签署数据共享协议
    • 联系人邮箱: [e-mail]

相关工具

• 可与rPPG-toolbox配合使用

搜集汇总

数据集介绍

构建方式

PhysDrive数据集由香港科技大学（广州）构建，专注于车内驾驶员的无接触生理监测。该数据集通过多模态传感器采集数据，包括RGB相机、近红外相机和毫米波雷达，覆盖48名受试者约24小时（1500K帧）的 recordings。实验设计考虑了多种驾驶环境因素，如三种车辆类型、四种光照条件、三种路况以及驾驶员的不同动作状态。数据集同步采集了六种生理信号作为基准真值（ECG、BVP、呼吸、心率、呼吸率和血氧饱和度），确保了数据的全面性和可靠性。

特点

PhysDrive数据集以其多模态同步采集和丰富的环境变量设置而著称。数据集不仅包含高精度的RGB和近红外视频数据，还整合了毫米波雷达信号，为无接触生理监测研究提供了多维度的数据支持。特别值得注意的是，数据集涵盖了多种实际驾驶场景下的生理信号变化，包括不同光照、路况和驾驶员动作状态，极大提升了数据的实用性和泛化能力。此外，数据集与rPPG-toolbox兼容，方便研究者进行生理信号分析算法的开发和验证。

使用方法

PhysDrive数据集提供预处理和原始两种数据格式，以满足不同研究需求。预处理数据包含单一受试者的RGB和近红外原始数据以及所有受试者的预处理毫米波雷达数据，可通过Kaggle平台直接获取。原始数据则需要签署数据共享协议后申请使用。数据集结构清晰，按受试者、环境条件和信号类型分类存储，便于研究者快速定位所需数据。数据集专为学术研究设计，禁止商业用途，研究者可通过指定邮箱联系获取完整数据，并需遵守相关使用协议。

背景与挑战

背景概述

PhysDrive数据集由香港科技大学（广州）研究团队开发，旨在推动车内驾驶员非接触式生理监测技术的研究。该数据集收录了48名受试者在不同驾驶条件下的多模态生理数据，包括RGB摄像头、近红外摄像头和毫米波雷达的同步记录，总时长约24小时（150万帧）。数据集特别关注多种驾驶环境因素，如三种车型、四种光照条件、三种路况及驾驶员动作变化，并提供了六种同步生理指标（ECG、BVP、呼吸、心率、呼吸率和血氧饱和度）作为基准真值。PhysDrive的发布为远程光电容积描记术（rPPG）和车内健康监测系统的研究提供了重要资源。

当前挑战

PhysDrive数据集面临的核心挑战包括两方面：其一，在领域问题层面，车内环境的光照变化、驾驶员动作干扰以及复杂路况对非接触式生理信号测量的准确性提出了严峻考验，现有算法在动态场景下的鲁棒性亟待提升；其二，在构建过程中，多模态数据同步、大规模生理信号标注以及不同传感器数据的时空对齐等技术难题需要克服，同时还需确保数据采集过程符合伦理规范并保护受试者隐私。这些挑战为下一代车载健康监测系统的研发设立了新的技术标杆。

常用场景

经典使用场景

PhysDrive数据集在车载驾驶员监测领域具有重要应用价值，其多模态数据（包括RGB相机、近红外相机和毫米波雷达）为无接触生理信号测量提供了丰富的研究素材。该数据集特别适用于模拟真实驾驶环境中的复杂场景，如不同车型、光照条件和道路状况下的驾驶员生理状态监测。研究人员可利用该数据集开发先进的远程光电容积描记（rPPG）算法，以非侵入方式获取心率、呼吸频率等关键生理指标。

衍生相关工作

该数据集已催生多项创新研究，包括基于毫米波雷达的呼吸模式识别算法、多光谱视频融合的rPPG增强方法等。相关成果发表在IEEE EMBC等顶级会议，并与rPPG-toolbox形成技术生态。部分研究团队进一步扩展了数据集应用边界，开发出适用于极端光照条件的生理信号重建模型。

数据集最近研究

最新研究方向

随着智能驾驶技术的快速发展，车内驾驶员健康监测成为研究热点。PhysDrive数据集作为多模态远程生理测量数据集，为无接触式驾驶员生理监测提供了重要支持。该数据集结合RGB摄像头、近红外摄像头和毫米波雷达数据，涵盖多种驾驶场景和生理信号，为基于计算机视觉的生理参数估计研究提供了丰富资源。当前研究主要聚焦于多模态数据融合算法优化、复杂驾驶环境下生理信号提取鲁棒性提升，以及轻量化模型部署等方向。该数据集的发布推动了车载健康监测系统的发展，为智能座舱人机交互和疲劳驾驶预警等应用奠定了数据基础。