VitalVideo, UBFC-rPPG, PURE, MMPD

本仓库支持四个数据集：VitalVideo, UBFC-rPPG, PURE, 和 MMPD。这些数据集用于远程光体积描记术(rPPG)的研究，涵盖了多个主题和皮肤色调，用于评估和训练不同的rPPG模型。

This repository supports four datasets: VitalVideo, UBFC-rPPG, PURE, and MMPD. These datasets are utilized for research in remote photoplethysmography (rPPG), encompassing a variety of subjects and skin tones, aimed at evaluating and training different rPPG models.

原始信息汇总

数据集概述

数据集名称与描述

• VitalVideo: 包含900名参与者，覆盖6种肤色，是目前最大的真实世界rPPG数据集。
• UBFC-rPPG: 用于远程光体积描记术的研究。
• PURE: 用于视频基脉率检测的数据集。
• MMPD: 多域移动视频生理数据集。

数据集组织结构

• MMPD: 数据组织为每个参与者一个文件夹，包含多个.mat文件。
• UBFC-rPPG: 数据组织为每个参与者一个文件夹，包含视频文件和地面实况文本文件。
• PURE: 数据组织为复杂的文件夹结构，每个参与者包含视频和JSON文件。
• VitalVideo: 数据组织为多个子文件夹，每个子文件夹包含视频和JSON文件。

数据集使用

• 使用这些数据集时，应按照指定的文件组织方式进行。
• 当在深度学习模型中使用这些数据集时，需要引用相应的论文。

实验与基准

实验概述

• 进行了跨四个数据集的实验，主要关注VitalVideo数据集。
• 使用了六种无监督方法和三种先进的监督模型（TSCAN, Physnet, Physformer）。

实验结果

• 在vv100和vvAll上使用六种无监督方法的平均绝对误差（MAE）性能。
• 在vv100上训练并在PURE, UBFC-rPPG, MMPD上测试的MAE性能。
• 在PURE, UBFC-rPPG, MMPD上训练并在vv100上测试的MAE性能。

神经网络训练示例

• 提供了在VitalVideo上训练并在MMPD上测试的详细步骤。
• 提供了使用预训练模型在VitalVideo上训练并在PURE上测试的步骤。

引用信息

• 使用此数据集时，应引用相关论文。

AI搜集汇总

数据集介绍

构建方式

在远程光电容积描记术（rPPG）领域，VitalVideo、UBFC-rPPG、PURE和MMPD数据集的构建旨在解决现有数据集在规模和多样性上的不足。这些数据集通过收集来自不同肤色、不同环境条件下的视频数据，结合相应的生理信号（如PPG和血压）作为真实标签，构建了一个大规模、多样化的rPPG数据集。VitalVideo作为其中最大的数据集，涵盖了900名受试者和6种肤色，为研究提供了丰富的实验材料。

特点

这些数据集的显著特点在于其多样性和规模。VitalVideo数据集不仅包含了大量的受试者，还涵盖了多种肤色，确保了数据集的广泛适用性。此外，数据集的组织结构清晰，每个受试者的数据被分类存储，便于深度学习模型的训练和测试。UBFC-rPPG、PURE和MMPD数据集也各自具有独特的特点，如UBFC-rPPG的无监督皮肤组织分割，PURE的非接触式脉搏率测量，以及MMPD的多域移动视频生理数据。

使用方法

使用这些数据集进行深度学习模型训练时，首先需要按照指定的文件结构组织数据。例如，VitalVideo数据集的文件应存储在`data/VitalVideo/`目录下，每个受试者的视频和标签文件分别存储。接着，用户可以通过配置文件设置训练和测试的参数，如使用`vv100_train_configs/vv100_vv100_MMPD_TSCAN_BASIC.yaml`进行训练，并通过`main.py`脚本启动训练过程。对于预训练模型的使用，用户只需修改相应的测试配置文件并运行测试脚本即可。

背景与挑战

背景概述

随着远程光电容积描记技术（rPPG）的快速发展，基于摄像头的非侵入式生命体征监测成为研究热点。VitalVideo、UBFC-rPPG、PURE和MMPD等数据集的推出，旨在解决现有数据集在规模和多样性上的不足。其中，VitalVideo数据集作为迄今为止最大的真实世界rPPG数据集，涵盖了900名受试者和6种肤色，极大地推动了rPPG技术在多样性条件下的评估与应用。该数据集的创建不仅为研究人员提供了丰富的实验资源，还通过与UBFC-rPPG、PURE和MMPD等数据集的对比分析，揭示了肤色多样性对rPPG性能评估的重要性。

当前挑战

尽管VitalVideo等数据集在规模和多样性上取得了显著进展，但仍面临诸多挑战。首先，数据集的构建过程中，如何确保不同肤色下的数据采集一致性是一个关键难题。其次，现有rPPG方法在处理复杂光照条件和运动伪影时仍存在性能瓶颈，尤其是在肤色多样性较高的场景下。此外，跨数据集的泛化能力评估也是一个重要挑战，如何在不同数据集上实现有效的模型迁移和性能验证，仍需进一步研究。最后，数据集的隐私和伦理问题也需引起重视，确保受试者隐私得到充分保护。

常用场景

经典使用场景

在远程光电容积描记（rPPG）领域，VitalVideo、UBFC-rPPG、PURE和MMPD数据集被广泛应用于非接触式生理信号检测的研究。这些数据集通过提供多样化的皮肤色调和大规模的受试者样本，支持了多种无监督和监督学习方法的训练与评估。经典使用场景包括通过摄像头捕捉面部视频，利用深度学习模型从视频中提取心率、血氧饱和度等生理参数，从而实现对健康状态的实时监测。

实际应用

在实际应用中，这些数据集支持了多种健康监测设备的开发，如智能手表、移动医疗应用和远程医疗系统。通过利用摄像头捕捉的面部视频，这些设备能够实时监测用户的心率、血压等生理指标，特别适用于无法使用传统接触式传感器的场景，如运动监测、远程医疗诊断和老年人健康管理。此外，这些数据集还为个性化健康管理系统的开发提供了数据支持。

衍生相关工作

基于这些数据集，研究者们开发了多种先进的rPPG算法，如TSCAN、Physnet和Physformer，这些算法在跨数据集和跨肤色条件下的表现得到了广泛验证。此外，这些数据集还激发了关于数据集多样性和一致性对模型性能影响的研究，推动了rPPG领域的理论发展。相关工作还包括对不同光照条件、运动伪影等因素的深入分析，以及对无监督学习方法在rPPG中的应用探索。