iBVP Dataset

iBVP数据集是一个同步的RGB和热红外视频集合，带有从耳朵获取的PPG地面真值信号。PPG信号带有手动信号质量标签，以及使用SQA-PhysMD模型训练和验证的密集（每样本）信号质量评估。数据采集协议旨在诱导心理生理状态的现实变化以及头部运动。每个参与者经历四种条件，包括（a）节奏缓慢呼吸和休息 – “A”，（b）简单数学任务 – “B”，（c）困难数学任务 – “C”，和（d）引导头部运动任务 – “D”。RGB和热像仪放置在参与者前方约1米处。使用Logitech BRIO 4K UHD网络摄像头捕捉640×480分辨率的RGB视频帧，而使用FLIR系统的A65SC热像仪捕捉640×512分辨率的热红外帧。帧率为30 FPS，共124个会话，每个持续3分钟，数据集包含372分钟（约6小时）的RGB-热视频录制。

The iBVP dataset is a collection of synchronized RGB and thermal infrared videos paired with ground-truth photoplethysmography (PPG) signals acquired from the ear. The PPG signals include both manual signal quality labels and per-sample dense signal quality assessments trained and validated using the SQA-PhysMD model. The data acquisition protocol is designed to induce realistic changes in psychophysiological states and head movements. Each participant undergoes four experimental conditions: (a) slow-paced breathing and rest – labeled "A", (b) simple mathematical task – labeled "B", (c) difficult mathematical task – labeled "C", and (d) guided head movement task – labeled "D". Both RGB and thermal cameras are positioned approximately 1 meter in front of the participant. RGB video frames at 640×480 resolution are captured using a Logitech BRIO 4K UHD webcam, while thermal infrared frames at 640×512 resolution are captured using a FLIR A65SC thermal camera. The frame rate is set to 30 FPS. In total, there are 124 sessions, each lasting 3 minutes, resulting in 372 minutes (approximately 6 hours) of RGB-thermal video recordings in the dataset.

原始信息汇总

iBVP 数据集概述

数据集简介

iBVP 数据集是一个包含同步的 RGB 和热红外视频的集合，以及从耳朵采集的 PPG 地面真实信号。PPG 信号带有手动信号质量标签，以及通过 SQA-PhysMD 模型训练和验证的密集（每样本）信号质量评估。数据采集协议设计了真实世界的心理生理状态和头部运动的变异性。每个参与者经历了四种条件：(a) 节奏缓慢呼吸和休息 – “A”，(b) 简单的数学任务 – “B”，(c) 困难的数学任务 – “C”，以及 (d) 引导的头部运动任务 – “D”。RGB 和热红外摄像机放置在参与者前方约 1 米处。使用 Logitech BRIO 4K UHD 网络摄像头捕获 640 × 480 分辨率的 RGB 视频帧，而热红外帧使用 FLIR 系统的 A65SC 热红外摄像机捕获 640 × 512 分辨率。帧率设置为 30 FPS。数据集包含 124 个会话，每个会话持续 3 分钟，总计 372 分钟（约 6 小时）的 RGB-热红外视频记录。

数据集内容

数据集大小（压缩）约为 400 GB。下载并解压数据文件后，数据需要按照以下文件夹结构组织：

iBVP_Dataset/ | |-- p01_a/ | |-- p01_a_rgb/ | |-- p01_a_t/ | |-- p01_a_bvp.csv | |-- p01_b/ | |-- p01_b_rgb/ | |-- p01_b_t/ | |-- p01_b_bvp.csv | ... | |-- pii_x/ | |-- pii_x_rgb/ | |-- pii_x_t/ | |-- pii_x_bvp.csv

• pii_x 表示：
  • ii：参与者 ID
  • x：实验条件（“a”, “b”, “c” 和 “d” 之一）
• pii_x_rgb：包含 RGB 帧（.bmp 文件）的目录
• pii_x_t：包含热红外帧（.raw 文件）的目录
• pii_x_bvp：.csv 文件，包含以下列：
  • BVP：过滤后的 PPG 信号，以 30 FPS 下采样以匹配 RGB 和热红外视频帧
  • SQPhysMD：由 SQA-PhysMD 模型生成的信号质量标签
  • SQ1：手动注释的信号质量标签
  • Perfusion_Value：从原始 PPG 信号计算的灌注指数

注意： 部分提供有限同意的参与者的数据保存在名为 "Confidential_No-media-use" 的单独文件夹中。这些参与者的 ID 包括 p08, p10, p13, p16, p29, p31 和 p33。尽管在训练和/或评估 rPPG 方法时，这些数据需要移动到主数据集文件夹（即 iBVP_Dataset 文件夹），请保持这些数据的高度机密和安全。

搜集汇总

数据集介绍

构建方式

iBVP数据集通过同步采集RGB和热红外视频，结合从耳部获取的PPG真实信号，构建了一个高质量的RGB-热红外rPPG数据集。数据采集过程中，设计了四种实验条件以模拟真实世界的心理生理状态变化和头部运动。RGB视频使用Logitech BRIO 4K UHD摄像头，分辨率为640×480，热红外视频使用FLIR系统的A65SC摄像头，分辨率为640×512，帧率均为30 FPS。每名参与者在四种条件下进行3分钟的实验，总计124个会话，构成了约6小时的视频记录。

特点

iBVP数据集的显著特点在于其高分辨率的信号质量标签，这些标签由手动标注和SQA-PhysMD模型自动生成，确保了信号质量评估的准确性。此外，数据集包含了多种心理生理状态和头部运动的真实变化，为研究提供了丰富的情境多样性。RGB和热红外视频的同步采集，使得该数据集在远程生理信号检测领域具有独特的应用价值。

使用方法

使用iBVP数据集时，用户需先通过签署EULA协议向作者申请数据访问权限。下载后，数据需按照指定的文件夹结构进行组织，包括RGB帧、热红外帧和PPG信号的CSV文件。数据集与rPPG-Toolbox集成，提供了数据加载器和评估工具，便于用户进行模型训练和性能评估。此外，SQA-PhysMD模型可用于信号质量评估，进一步增强了数据集的实用性。

背景与挑战

背景概述

iBVP数据集是由Jitesh Joshi和Youngjun Cho于2024年创建的，旨在提供一个包含同步RGB和热红外视频以及从耳部获取的PPG地面真实信号的高分辨率信号质量标签的数据集。该数据集的核心研究问题是如何在真实世界的生理和心理状态下，通过多模态数据（RGB和热红外）来评估和提高PPG信号的质量。iBVP数据集的创建不仅为远程光电容积描记法（rPPG）领域的研究提供了宝贵的资源，还通过引入手动和自动信号质量标签，推动了信号质量评估技术的发展。该数据集的发布得到了UCL计算生理学与智能研究组的支持，并已在学术界引起了广泛关注。

当前挑战

iBVP数据集在构建过程中面临了多项挑战。首先，如何在不同的心理和生理状态下（如简单的数学任务、复杂的数学任务和头部运动任务）保持信号质量的一致性是一个重要问题。其次，数据集的构建需要同步采集高分辨率的RGB和热红外视频，这对硬件设备和数据处理技术提出了较高的要求。此外，手动标注信号质量标签的过程耗时且容易出错，因此引入了SQA-PhysMD模型进行自动信号质量评估，但模型的准确性和鲁棒性仍需进一步验证。最后，数据集的规模较大（约400GB），如何高效地存储、管理和分发数据也是一个技术挑战。

常用场景

经典使用场景

iBVP数据集的经典使用场景主要集中在远程光电容积描记（rPPG）信号的提取与分析。该数据集通过同步的RGB和热红外视频，提供了高质量的PPG信号标签，特别适用于研究在不同心理生理状态下，如缓慢呼吸、简单数学任务、复杂数学任务和头部运动任务中，人体生理信号的变化。这些数据为开发和验证rPPG算法提供了宝贵的资源，尤其是在需要高分辨率信号质量评估的场景中。

实际应用

在实际应用中，iBVP数据集可用于开发和优化远程健康监测系统，如非接触式心率监测、压力水平评估和情绪状态分析。这些应用在医疗保健、心理健康监测和智能交互系统中具有广泛的前景，特别是在需要非侵入性和实时监测的场景中。此外，该数据集还可用于训练和验证基于深度学习的rPPG算法，以提高其在复杂环境下的鲁棒性和准确性。

衍生相关工作

iBVP数据集的发布催生了一系列相关研究工作，特别是在rPPG算法和信号质量评估领域。例如，基于该数据集的iBVPNet模型和SQA-PhysMD评估模块，为rPPG信号的提取和质量评估提供了新的工具和方法。此外，该数据集还与rPPG-Toolbox集成，进一步推动了rPPG技术的标准化和普及。这些衍生工作不仅提升了rPPG技术的研究水平，也为实际应用提供了强有力的支持。