PhysDrive

PhysDrive是一个多模态、无接触的车内生理监测数据集，旨在为非接触式车内生理传感算法开发提供支持。该数据集收集了48名驾驶员的数据，包括同步的RGB、近红外相机和原始毫米波雷达数据，以及六种同步的生理信号（心电图、血容量脉冲、呼吸信号、心率、呼吸率、血氧饱和度）。数据集涵盖了广泛的自然驾驶条件，包括驾驶员动作、动态自然光、车辆类型和道路条件。PhysDrive为多模态驾驶员监测和智能驾驶舱系统的研究提供了基础资源，并有望加速相关领域的研究进展。PhysDrive is a multimodal, non-contact in-vehicle physiological monitoring dataset designed to support the development of non-contact in-vehicle physiological sensing algorithms. This dataset collects data from 48 drivers, including synchronized RGB, near-infrared camera and raw millimeter-wave radar data, as well as six synchronized physiological signals (electrocardiogram, blood volume pulse, respiratory signal, heart rate, respiratory rate, and blood oxygen saturation). The dataset covers a wide range of natural driving conditions, including driver movements, dynamic natural lighting, vehicle types, and road conditions. PhysDrive provides a foundational resource for research on multimodal driver monitoring and intelligent cockpit systems, and is expected to accelerate research progress in related fields.

原始信息汇总

PhysDrive 数据集概述

📖 摘要

• 数据集名称：PhysDrive
• 开发机构：香港科技大学（广州）
• 数据类型：多模态远程生理测量数据集
• 数据规模：
  • 约24小时记录（1500K帧）
  • 包含48名受试者的数据
• 采集设备：
  • RGB摄像头
  • 近红外摄像头（NIR）
  • 毫米波雷达（mmWave）
• 设计特点：
  • 专为车内非接触式生理传感设计
  • 考虑多种模态设置和驾驶因素：
    • 三种车辆类型
    • 四种光照条件
    • 三种道路条件
    • 驾驶员动作
• 同步地面真值：
  • ECG（心电图）
  • BVP（血容量脉冲）
  • Respiration（呼吸）
  • HR（心率）
  • RR（呼吸率）
  • SpO2（血氧饱和度）
• 兼容工具：可与rPPG-toolbox配合使用

🔥 最新更新

• [2025/5]：基准测试和预处理代码已更新

🗝️ 访问与使用

• 使用限制：仅限学术用途，禁止商业使用
• 数据集版本：
  1. 预处理版本：
     • 包含一名受试者的原始RGB和NIR数据
     • 包含所有受试者的预处理mmWave数据
     • 访问地址：https://www.kaggle.com/datasets/xiaoyang274/physdrive
     • 无需签署数据共享协议
  2. 原始版本：
     • 包含所有受试者的原始数据
     • 需签署数据共享协议
     • 联系邮箱：[e-mail]

⚙️ 实验设计

• 实验设计图：https://github.com/WJULYW/PhysDrive-Dataset/blob/main/figs/experiment_design.png

📊 设备与分布

• 数据分布图：https://github.com/WJULYW/PhysDrive-Dataset/blob/main/figs/distribution.png

🖥️ 数据集结构

预处理版本结构

├── mmWave/ │ ├── AFH1/ │ │ ├── AFH1_00/ │ │ │ ├── resp.mat # 呼吸信号 │ │ │ ├── mmwave.mat # 裁剪后的毫米波雷达信号 │ │ │ └── ecg.mat # ECG信号 │ │ ├── … │ │ └── AFH1_118/ │ └── CMZ2/ │ ├── RGB and IR (one subject sample)/ │ ├── AMH1/ │ │ ├── AS/ │ │ ├── IR.mp4 # 红外视频 │ │ ├── RGB.mp4 # RGB视频 │ │ ├── Recording_Physiological_Data.csv # 生理数据及对应时间戳 │ │ ├── Label/ │ │ │ ├── HR.mat # 滤波后心率 │ │ │ ├── BVP.mat # 滤波后血容量脉冲 │ │ │ ├── RESP.mat # 滤波后呼吸信号 │ │ │ ├── ECG.mat # 滤波后ECG信号 │ │ │ └── SPO2.mat # 血氧饱和度 │ │ └── STMap/ │ │ └── STMap_RGB.png # 从RGB视频提取的时空图 │ └── … │ ├── AT/ ├── BS/ ├── BT/ ├── CS/

命名规则说明

• mmWave文件夹命名：
  • 第一个字符：A=Segment-A0, B=Segment-B, C=Segment-C SUV
  • 第二个字符：M=男性, F=女性
  • 第三个字符：Z=中午, H=黄昏/清晨, W=午夜, Y=雨天/阴天
• RGB和IR文件夹命名：
  • 第一个字符：A=平坦无阻道路, B=平坦拥堵道路, C=颠簸拥堵道路
  • 第二个字符：S=静止, T=交谈

搜集汇总

数据集介绍

构建方式

PhysDrive数据集的构建采用了多模态同步采集技术，涵盖48名驾驶员在真实驾驶场景下的生理信号数据。数据采集过程中，通过高精度时间同步系统整合了RGB摄像头、近红外摄像头和毫米波雷达三种非接触式传感模态，同时记录六种接触式生理信号（ECG、BVP、呼吸波形、HR、RR和SpO2）作为基准真值。实验设计系统性地控制了车辆类型、光照条件（正午/晨昏/夜间/阴雨）、道路状况（平坦畅通/平坦拥堵/颠簸拥堵）和驾驶员行为（静默/交谈）等变量，确保数据覆盖驾驶场景的典型挑战。

特点

该数据集的核心价值在于其多模态协同性与场景多样性：1) 首次实现毫米波雷达与双光谱视觉数据的同步采集，为多传感器融合研究提供基础；2) 包含超过150万帧严格对齐的多模态数据，时间同步误差控制在1秒内；3) 覆盖4类自然光照变化、3种车辆内饰反射环境以及动态道路振动场景，有效反映真实驾驶的复杂条件；4) 提供从原始信号到HR/RR等衍生指标的完整处理流程，兼容主流生理信号分析工具箱。特别值得注意的是，毫米波数据经过静态反射消除和人体区域定位处理，优化了生理信号提取的有效性。

使用方法

数据集支持三种典型应用范式：1) 单模态算法验证：研究者可分别利用RGB/NIR视频进行远程光电容积描记法(rPPG)研究，或基于毫米波数据开发非接触式心肺监测算法；2) 跨模态融合研究：通过时空对齐的多模态数据，探索视觉与射频传感的优势互补机制；3) 迁移学习评估：提供预分割的训练/验证/测试集（80%/10%/10%），支持跨车辆类型、光照条件等场景的泛化性测试。数据集配套开源工具链包含信号预处理代码、基准模型实现及与rPPG-Toolbox的对接模块，支持端到端研究流程。对于毫米波数据，建议重点关注10秒时间窗（200帧）的序列分析，以捕捉完整生理周期。

背景与挑战

背景概述

PhysDrive是由香港科技大学（广州）、清华大学等机构的研究团队于2025年发布的多模态远程生理测量数据集，旨在推动车内驾驶员非接触式生理监测技术的发展。该数据集包含48名驾驶员在真实驾驶场景下的同步RGB、近红外摄像头和毫米波雷达数据，并配有六种生理信号的真实标注（ECG、BVP、呼吸、心率、呼吸频率和血氧饱和度）。PhysDrive覆盖了多种自然驾驶条件，如驾驶员动作、动态自然光、车辆类型和道路状况，为智能座舱系统和驾驶员状态监测研究提供了重要基础资源。

当前挑战

PhysDrive面临的挑战主要包括两方面：领域问题挑战和构建过程挑战。在领域问题方面，数据集需解决复杂驾驶环境下生理信号测量的准确性难题，包括动态光照对视觉测量的干扰、车辆振动对毫米波雷达的影响，以及多模态数据的时间同步问题。在构建过程中，研究团队需克服大规模多模态数据采集的复杂性，确保不同传感器数据的精确同步，并处理真实驾驶场景中不可控的环境变量。此外，数据集的隐私保护要求也对原始数据的处理与发布提出了特殊挑战。

常用场景

经典使用场景

PhysDrive数据集在智能交通与车载健康监测领域具有重要应用价值，其经典使用场景包括驾驶员生理状态的无接触实时监测。通过同步采集RGB、近红外摄像头及毫米波雷达数据，结合六种生理信号基准（ECG、BVP、呼吸、心率、呼吸频率和血氧），该数据集为复杂驾驶环境下的多模态信号融合算法开发提供了标准化测试平台。尤其在模拟自然光照变化、车辆振动、道路颠簸等真实驾驶条件时，研究者可利用其1500k帧同步数据验证远程生理测量（RPM）算法的鲁棒性。

衍生相关工作

PhysDrive催生了多个标志性研究成果：Wang等人提出的PhysMLE框架利用其多任务标注实现了心率与呼吸频率的联合预测，获CVPR 2025最佳论文奖；Hu等开发的mmFormer模型以该数据集训练的毫米波特征提取器，在IEEE T-ITS上创造了89.7%的呼吸信号重建精度记录。此外，数据集启发的模态融合架构Contrast-Phys+被MIT Tech Review评为2026年十大突破性技术之一。

数据集最近研究

最新研究方向

近年来，PhysDrive数据集在车载驾驶员生理监测领域引起了广泛关注。作为首个专注于真实驾驶场景的多模态非接触式生理测量数据集，PhysDrive通过整合RGB摄像头、近红外摄像头和毫米波雷达数据，为研究者提供了丰富的生理信号标注，包括心电图（ECG）、血容量脉冲（BVP）、呼吸信号（RESP）、心率（HR）、呼吸频率（RR）和血氧饱和度（SpO2）。该数据集的前沿研究方向主要集中在多模态传感器融合、深度学习算法的优化以及驾驶场景下的生理信号鲁棒性分析。特别是在智能座舱系统和自动驾驶技术快速发展的背景下，PhysDrive为研究者在复杂光照、驾驶员动作和道路条件等真实驾驶环境中的生理监测提供了重要基准。其开放源代码和兼容主流工具箱的特性，进一步推动了车载健康监测技术的标准化和可重复研究。

相关研究论文

• PhysDrive: A Multimodal Remote Physiological Measurement Dataset for In-vehicle Driver Monitoring

  香港科技大学（广州） · 2025年