egoPPG-DB

egoPPG-DB数据集是由ETH Zurich开发的眼动追踪视频数据集，包含25名参与者在日常生活中进行不同活动时录制的超过13小时的眼动追踪视频，以及同步记录的接触式血容量脉冲（PPG）和心电图（ECG）信号。数据集旨在支持从眼动追踪视频中估计心率的研究，涵盖了观看视频、办公工作、厨房工作、跳舞和室内自行车锻炼等活动，体现了不同活动下的心率变化和运动伪迹。The egoPPG-DB dataset is an eye-tracking video dataset developed by ETH Zurich. It contains over 13 hours of eye-tracking videos recorded from 25 participants performing various daily activities, along with synchronously recorded contact-based photoplethysmography (PPG) and electrocardiogram (ECG) signals. This dataset is designed to support research on heart rate estimation from eye-tracking videos. It covers activities such as video watching, office work, kitchen work, dancing, and indoor cycling exercises, which reflect heart rate variations and motion artifacts under different activity conditions.

搜集汇总

数据集介绍

构建方式

egoPPG-DB数据集的构建旨在支持从眼动追踪视频中估计心率，以适应真实世界的条件。该数据集由25名参与者完成，他们佩戴Project Aria眼镜，并执行了五种日常活动，包括观看视频、办公室工作、厨房工作、跳舞和在室内自行车上锻炼。参与者佩戴了自定义的接触式PPG传感器和ECG胸带，以捕获同步的生理信号。这些信号随后用于训练和验证模型，确保了数据集的真实性和准确性。

特点

egoPPG-DB数据集的特点在于其多样性、真实性和同步性。该数据集包含了超过13小时的记录时间，涵盖了广泛的活动，从而导致了显著的生理变化和运动伪影。数据集的同步性确保了接触式PPG信号和ECG信号的精确度，为训练和验证生理状态估计模型提供了可靠的基准。此外，数据集的多样性为研究不同情境下生理状态的变化提供了丰富的资源。

使用方法

使用egoPPG-DB数据集时，研究者可以将其作为训练和验证生理状态估计模型的基准。数据集提供了丰富的眼动追踪视频以及同步的接触式PPG和ECG信号，允许研究者测试和改进他们的模型。此外，egoPPG-DB数据集还可以用于研究不同活动对生理状态的影响，以及生理状态如何影响用户的行为和注意力。

背景与挑战

背景概述

egoPPG-DB 数据集是在2025年由 ETH Zurich 的计算机科学系的研究人员 Bj¨orn Braun、Rayan Armani、Manuel Meier、Max Moebus 和 Christian Holz 创建的。该数据集的创建旨在支持从第一人称视角的视频中估计心率（HR）的研究，特别是使用未修改的第一人称视角头戴设备的内置传感器（例如眼动追踪摄像头）。egoPPG-DB 数据集包含 25 位参与者在日常活动中进行的眼动追踪视频，这些视频与同步的接触式光电容积脉搏图（PPG）信号和心电图（ECG）记录相匹配。这些活动包括厨房任务、计算机工作、骑自行车锻炼、步行和爬楼梯，旨在模拟真实世界中的自然运动和心率变化。egoPPG-DB 数据集对于研究如何将用户的生理状态信息集成到第一人称视角的视觉任务中具有重要作用，从而提高下游视觉任务的性能。

当前挑战

egoPPG-DB 数据集和相关研究面临的主要挑战包括：1) 从眼动追踪视频中估计心率的挑战，特别是在动态日常活动中，由于运动伪影和心率变化，这使得从视频信号中提取生理信号变得更加困难；2) 构建过程中所遇到的挑战，例如确保接触式 PPG 传感器与 ECG 信号的高度准确性，以及处理由于眼镜佩戴位置和角度差异导致的皮肤区域可见性的变化。为了应对这些挑战，研究人员设计了一种名为 EgoPulseFormer 的新方法，该方法通过利用空间注意力机制来减少运动伪影的影响，并从眼周皮肤区域而非眼睛本身提取光电容积脉搏图（PPG）信号。此外，为了提高模型的鲁棒性和泛化能力，研究人员采用了多种数据增强技术，并使用标准化连续帧差作为模型输入。这些技术使得 EgoPulseFormer 在真实世界条件下能够稳健地估计心率，并为下游视觉任务提供了有价值的生理状态信息。

常用场景

经典使用场景

egoPPG-DB 数据集广泛应用于眼动追踪视频中提取生理信号的领域，特别是用于从第一人称视角的头部设备中估计心率。该数据集为研究人员提供了一个丰富的资源，用于训练和验证基于深度学习的模型，以从眼动追踪视频中提取血容量脉冲波形（PPG）和心率（HR）。

衍生相关工作

egoPPG-DB 数据集衍生了多个相关研究工作，包括但不限于开发用于从眼动追踪视频中提取心率的新模型和方法，以及将这些模型集成到下游视觉任务中的研究。这些研究工作旨在提高心率估计的准确性和鲁棒性，并探索心率数据在增强现实（AR）、虚拟现实（VR）和其他可穿戴设备中的应用潜力。此外，该数据集还促进了生理信号监测和上下文感知技术的发展，这些技术对于开发更智能、更个性化的可穿戴设备具有重要意义。

数据集最近研究

最新研究方向

egoPPG-DB数据集及其对应的EgoPulseFormer方法，专注于从第一视角的眼动追踪视频中提取心率信号，以增强对用户生理状态的认知。egoPPG-DB数据集包含参与者进行日常活动时的眼动追踪视频，以及同步的基于接触的血容量脉冲信号和心率值。EgoPulseFormer方法通过分析眼动追踪视频中的皮肤区域变化来估计血容量脉冲，并从中提取心率值，无需额外硬件。该研究还展示了EgoPulseFormer在EgoExo4D数据集上的下游应用，其中融入心率估计的模型在熟练度估计基准测试中准确率提高了14.1%。这些研究成果表明，第一视角视觉系统可以通过集成生理状态信息，更全面地理解用户行为和内部状态。

相关研究论文

• egoPPG: Heart Rate Estimation from Eye-Tracking Cameras in Egocentric Systems to Benefit Downstream Vision Tasks

  ETH Zurich · 2025年