Oulu Remote-photoplethysmography Physical Domain Attacks Database (OPDAD)

ORPDAD是一个新的基准数据集，用于评估rPPG对物理域攻击的鲁棒性。该数据集包含30名无心脏病史的参与者，在三种攻击场景（光照、运动、隐蔽）下录制了70秒的视频，共26个场景，总计780个视频，约15.2小时。数据集还包括通过指氧仪和ECG设备记录的同步生理信号。

ORPDAD is a novel benchmark dataset for evaluating the robustness of remote photoplethysmography (rPPG) against physical-domain attacks. It includes 30 participants with no history of heart disease. Video recordings of 70 seconds per clip were conducted across 26 distinct scenarios under three attack categories: illumination, motion, and concealment, resulting in a total of 780 videos with an overall duration of approximately 15.2 hours. The dataset also provides synchronized physiological signals recorded via a pulse oximeter and ECG equipment.

原始信息汇总

ORPDAD 数据集概述

数据集简介

ORPDAD（Oulu Remote-photoplethysmography Physical Domain Attacks Database）是一个针对远程光电容积脉搏波（rPPG）技术的物理域攻击数据集。该数据集包含多种物理域攻击场景，分为光照、运动和隐蔽三类，旨在评估rPPG方法对这些攻击的鲁棒性。

数据集内容

• 参与者数量：30名无心脏病史的参与者。
• 视频时长：每个场景录制70秒视频，共26个场景，总计780个视频，约15.2小时。
• 场景分类：
  • 静止（S1-S3）：参与者在攻击前保持静止状态。
  • 光照（I1-I6）：结合两种攻击频率（50bpm, 100bpm）和三种强度设置（S=7%, M=14%, L=21%）。
  • 运动（M1-M11）：探索不同类型的运动，如小/大垂直、小/大水平、口开合等，分别在50bpm和100bpm频率下。
  • 隐蔽（C1-C6）：包括不透明和透明隐蔽场景，如戴帽子、口罩、化妆等。

数据格式

• 视频：1920x1080p 30fps RGB视频。
• 同步生理信号：PPG和ECG设备记录的波形。
• 裁剪视频：128x128中心裁剪视频。
• 面部 landmarks：每帧68点面部 landmarks。
• 时空图：每个视频的时空图表示。

数据收集

• 环境控制：为研究每个攻击向量的孤立影响，设置了一个受控的录制环境。
• 设备：使用专业RGB相机和两个固定LED灯，同步记录生理信号。

数据集结构

• 视频文件：分为10个部分，每个参与者有26个场景的视频。
• 处理数据：包含裁剪视频、PPG和ECG信号、时空图、landmarks等。
• 模型和日志：包含训练好的模型和训练日志。

评估协议

• 测试段：30秒非重叠段进行评估，采用5折交叉验证。
• 训练条件：攻击未知（AU）和攻击已知（AA）两种训练条件。

预处理代码

• Landmarks计算：使用calc_landmarks_pyfeat.py计算68点landmarks。
• 裁剪视频：crop_faces_128_h5.py从原始RGB视频和landmarks裁剪并调整视频大小。
• 时空图计算：mstmap_hist_roi.py计算多尺度时空图。

搜集汇总

数据集介绍

构建方式

Oulu Remote-photoplethysmography Physical Domain Attacks Database (OPDAD) 数据集的构建基于对远程光电容积描记术（rPPG）物理域攻击的深入研究。该数据集通过精心设计的实验环境，收集了30名参与者在不同攻击场景下的视频数据。每个参与者在26种不同场景下被记录，共计780段视频，总时长约15.2小时。实验环境严格控制，使用专业RGB摄像机和固定LED灯进行视频录制，同时通过指尖脉搏血氧仪和便携式心电图设备同步记录生理信号。攻击场景分为光照、运动和遮蔽三类，每类场景下又细分为多个子场景，以模拟不同的攻击强度和频率。

特点

OPDAD数据集的显著特点在于其全面性和精细度。首先，数据集涵盖了三种主要物理域攻击类型：光照、运动和遮蔽，每种类型下又细分了多个具体场景，确保了攻击的多样性和复杂性。其次，数据集提供了高质量的视频数据，包括1920x1080p 30fps的RGB视频、同步的PPG和ECG生理信号、128x128裁剪视频、68点面部标志以及空间-时间图表示。此外，数据集还包含了预处理代码和训练模型，便于研究人员直接使用或进一步开发。

使用方法

使用OPDAD数据集时，研究人员可以利用提供的预处理代码从原始RGB视频中提取所需数据，如面部裁剪视频、多尺度空间时间图和面部标志。数据集结构清晰，分为多个部分，便于下载和管理。研究人员可以通过运行提供的训练和评估代码，对不同方法进行基准测试。数据集支持两种训练条件：攻击未知（AU）和攻击已知（AA），并采用5折交叉验证方法，确保评估的公平性和可靠性。此外，数据集还提供了详细的评估协议和示例脚本，帮助用户快速上手并进行有效的实验验证。

背景与挑战

背景概述

Oulu Remote-photoplethysmography Physical Domain Attacks Database (OPDAD) 是由Oulu大学的一组研究人员在2024年ECCV会议上提出的首个专注于远程光电容积描记术（rPPG）物理域攻击的数据集。该数据集旨在评估rPPG技术在面对物理域攻击时的鲁棒性，特别是在光照、运动和隐蔽三种攻击场景下。rPPG作为一种新兴技术，广泛应用于临床、远程驾驶员监控、反欺骗和身份验证等领域，其安全性至关重要。OPDAD的创建填补了这一领域的空白，为研究人员提供了一个新的基准，以推动对物理攻击防御的研究。

当前挑战

OPDAD数据集面临的挑战主要集中在两个方面。首先，rPPG技术本身对环境因素高度敏感，容易受到光照变化、运动干扰和隐蔽手段的影响，这使得构建一个能够准确模拟这些攻击的控制环境变得复杂。其次，数据集的构建过程中需要确保所有攻击场景的独立性和可重复性，以避免外部因素的干扰，这要求在数据采集和处理过程中保持高度的精确性和一致性。此外，由于rPPG技术的应用场景广泛且敏感，数据集的使用受到严格的数据隐私和安全法规的限制，这也增加了数据共享和访问的难度。

常用场景

经典使用场景

在远程光电容积描记术（rPPG）领域，Oulu Remote-photoplethysmography Physical Domain Attacks Database (OPDAD) 数据集的经典使用场景主要集中在评估和提升rPPG方法对物理域攻击的鲁棒性。该数据集通过模拟光照、运动和隐蔽三种主要攻击类型，提供了丰富的实验环境，使得研究人员能够在受控条件下测试现有rPPG方法的脆弱性，并开发新的防御机制。

解决学术问题

OPDAD数据集解决了rPPG技术在面对物理域攻击时的脆弱性问题，这一问题在学术研究中长期被忽视。通过提供详细的攻击场景和同步的生理信号数据，该数据集为研究人员提供了一个标准化的基准，用以评估和比较不同rPPG方法的鲁棒性。这不仅推动了rPPG技术在安全性方面的研究进展，也为开发更加健壮的rPPG算法提供了理论和实验基础。

衍生相关工作

基于OPDAD数据集，许多相关研究工作得以展开，包括但不限于改进的rPPG算法、物理域攻击检测机制和防御策略。例如，一些研究通过分析数据集中的攻击模式，提出了新的特征提取方法，以提高rPPG信号的抗干扰能力。此外，还有研究利用该数据集开发了基于深度学习的攻击检测模型，这些模型在识别和防御物理域攻击方面表现出色。