Multidomain Mobile Video Physiology Dataset (MMPD)

MMPD数据集由清华大学创建，包含33名不同肤色（Fitzpatrick 3-6）的参与者在四种不同光照条件和四种活动下的11小时视频记录。数据集旨在通过捕捉多样化的肤色、身体运动和光照条件，推动远程光电容积脉搏波（rPPG）技术的发展。创建过程中，使用了三星Galaxy S22 Ultra手机进行视频录制，并与HKG-07C+血氧仪同步记录生理信号。该数据集适用于开发和测试能够处理复杂现实场景的rPPG算法，特别是在远程健康监测和慢性心血管疾病管理中的应用。The MMPD dataset was developed by Tsinghua University. It contains 11 hours of video recordings from 33 participants with diverse skin tones (Fitzpatrick scale 3-6), acquired under four distinct lighting conditions and four types of daily activities. The dataset is designed to promote the advancement of remote photoplethysmography (rPPG) technologies by capturing varied skin tones, bodily motions and lighting environments. During the dataset construction, video recordings were captured using a Samsung Galaxy S22 Ultra smartphone, and physiological signals were synchronously logged with an HKG-07C+ oximeter. This dataset is applicable for developing and testing rPPG algorithms capable of handling complex real-world scenarios, especially for applications in remote health monitoring and chronic cardiovascular disease management.

搜集汇总

数据集介绍

构建方式

在远程光电容积描记技术领域，现有数据集在移动设备采集、样本多样性及真实场景覆盖方面存在局限。MMPD数据集的构建旨在弥补这些不足，通过精心设计的实验协议，使用三星Galaxy S22 Ultra手机采集了33名受试者共计11小时的视频数据。数据采集过程涵盖了菲茨帕特里克皮肤类型3至6的多样性，并系统控制了四种光照条件（高/低LED、白炽光、自然光）与四种活动状态（静止、头部旋转、交谈、行走）。同步记录的高精度PPG信号通过HKG-07C+血氧仪获取，并利用音频同步技术确保视频与生理信号的时间对齐。原始视频经压缩与降采样处理，最终以MAT文件格式存储，便于研究社区直接使用。

特点

MMPD数据集的核心特点在于其多维度的代表性与系统性标注。该数据集突破了传统rPPG数据集的同质化局限，首次在公开数据集中实现了对较深肤色类型（菲茨帕特里克3-6型）的广泛覆盖，为减少算法偏见提供了关键数据基础。同时，数据集囊括了从静止到行走等多种真实世界活动场景，以及从人工光源到自然光的多样化光照环境，极大增强了数据在复杂现实条件下的适用性。此外，数据集为每个样本提供了八类描述性标签，包括肤色、性别、眼镜佩戴等属性，支持研究者针对特定影响因素进行细粒度分析。其规模达到118.8万视频帧，为模型训练与评估提供了充足的样本支持。

使用方法

MMPD数据集的使用可与开源工具包rPPG-toolbox无缝集成，为远程生理信号测量研究提供标准化评估流程。研究者可利用该数据集进行算法鲁棒性测试，特别是在跨肤色、跨运动与跨光照条件下的泛化性能分析。数据集的结构化设计支持针对特定变量（如单一运动类型或光照条件）的对比实验，以深入探究不同因素对rPPG信号提取的影响。在模型开发层面，MMPD可作为训练数据以提升模型在移动设备采集场景下的适应性，或作为测试集用于评估现有监督与非监督方法在复杂真实场景中的表现。数据集的MAT格式确保了在Matlab及Python环境下的便捷加载与处理，其同步精确的生理信号标签为心率估计、脉搏波形重建等任务提供了可靠的真值参照。

背景与挑战

背景概述

远程光电容积描记术（rPPG）作为一种非侵入性生理信号测量技术，在远程健康监测领域展现出巨大潜力。然而，现有公共基准数据集在移动设备摄像头采集、样本多样性及真实场景覆盖方面存在显著不足。为此，清华大学与华盛顿大学的研究团队于2023年联合发布了多域移动视频生理数据集（MMPD），该数据集通过三星Galaxy S22 Ultra手机采集了33名受试者共11小时的视频数据，覆盖菲茨帕特里克肤色类型3-6、四种光照条件与多种运动状态，旨在填补移动端rPPG数据在肤色、运动与光照多样性方面的空白，为算法在复杂现实场景中的泛化能力评估提供关键支撑。

当前挑战

该数据集致力于解决rPPG技术在移动端部署时面临的三大核心挑战：肤色差异导致的信号信噪比降低、复杂光照条件引起的反射噪声干扰，以及运动伪影对脉搏波形提取的严重影响。在构建过程中，研究团队需克服多设备同步校准的技术难题，确保手机视频与医用血氧仪PPG信号的时间对齐；同时，通过设计涵盖静态、头部旋转、对话与行走的多样化运动协议，并调控LED、白炽灯与自然光等多源光照环境，以模拟真实应用场景的复杂性，从而提升数据集的生态效度与算法测试的严谨性。

常用场景

经典使用场景

在远程光电容积描记技术领域，MMPD数据集为算法评估与优化提供了关键基准。该数据集通过整合多种肤色类型、动态行为及光照条件，构建了高度仿真的测试环境。研究者可借助其丰富的标注信息，系统性地分析不同变量对心率信号提取的影响，从而推动模型在复杂现实场景中的鲁棒性提升。

实际应用

该数据集在移动健康监测领域展现出重要应用价值。基于智能手机摄像头的生理信号采集具有非侵入、便捷的优势，适用于日常健康筛查与慢性病管理。MMPD所模拟的多样光照与运动条件，直接对应户外活动、室内办公等真实使用场景，为开发适用于移动设备的实时心率监测应用提供了关键数据支撑，助力远程医疗与个人健康管理系统的实用化推进。

衍生相关工作

MMPD数据集已催生一系列针对移动端生理感知的算法研究。基于其多域特性，学者们发展了融合时序注意力机制的网络架构，以应对运动伪影的挑战；同时，数据集的肤色多样性推动了无监督信号处理方法的改进，如增强的色度分析算法。这些工作不仅深化了对rPPG噪声源的理解，也为跨设备、跨场景的生理监测模型奠定了新的技术路线。