远程学习情感与生理数据集(RLAP)

远程学习情感与生理数据集(RLAP)是由华中师范大学人工智能教育学部创建的大型同步无损格式数据集。该数据集包含来自58名受试者的超过32小时（353万帧）视频，使用PhysRecorder和低成本网络摄像头收集。RLAP数据集旨在解决远程生理信号恢复中的挑战，特别是在视频压缩和信号同步方面。通过在RLAP上训练，包括DeepPhys、TS-CAN、PhysNet和PhysFormer在内的多种神经算法实现了更高的泛化能力。该数据集适用于远程学习和医疗领域的情感计算和生理信号分析，有助于开发更高效的算法和模型。The Remote Learning Affective and Physiological Dataset (RLAP) is a large-scale synchronized lossless-format dataset developed by the Faculty of Artificial Intelligence and Education, Central China Normal University. This dataset contains over 32 hours (3.53 million frames) of video from 58 subjects, collected using PhysRecorder and low-cost webcams. The RLAP dataset aims to address the challenges in remote physiological signal recovery, particularly regarding video compression and signal synchronization. Multiple neural algorithms including DeepPhys, TS-CAN, PhysNet, and PhysFormer have demonstrated enhanced generalization capabilities after being trained on the RLAP dataset. This dataset is suitable for affective computing and physiological signal analysis in the fields of remote learning and healthcare, and supports the development of more efficient algorithms and models.

搜集汇总

数据集介绍

构建方式

在远程生理感知领域，高质量数据集的构建常面临信号同步与无损格式获取的双重挑战。RLAP数据集的构建依托开源工具PhysRecorder，采用罗技C930c网络摄像头与Contec CMS50E脉搏血氧仪同步采集。视频采集分为两类：一类为1920×1080分辨率的在线学习场景，采用MJPG编码；另一类为640×480分辨率的rPPG专用场景，采用YUY2无损编码获取原始图像。为确保视频与真实BVP信号的严格同步，采集过程中保存所有信号的UNIX时间戳，并依据不同亮度、专注度及面部肌肉活动设计了四类场景任务，最终涵盖58名受试者超过32小时（353万帧）的视频数据。

使用方法

RLAP数据集的使用需依托其配套的PhysBench训练测试框架。该框架提供了标准化的预处理流程，包括人脸检测框去抖动、尺寸统一及BVP信号重采样，将原始数据转换为NDHWC格式的张量序列。研究人员可通过框架内置的HDF5数据集接口进行模型训练与测试，支持包括DeepPhys、PhysNet及本文提出的Seq-rPPG在内的多种神经网络算法。评估时可采用30秒滑动窗口计算心率指标的MAE、RMSE与Pearson相关系数，并通过跨数据集测试验证模型的泛化能力。数据集的划分细节与低质量数据排除准则均在其GitHub页面明确提供，确保实验的可复现性。

背景与挑战

背景概述

远程学习情感与生理数据集（RLAP）由华中师范大学人工智能教育学部的研究团队于2023年构建，旨在应对远程光电容积描记术（rPPG）领域的数据需求。该数据集聚焦于从面部视频中恢复血容量脉冲信号的核心研究问题，通过低成本网络摄像头和开源工具PhysRecorder采集了58名受试者超过32小时的高质量视频与生理信号。RLAP以其严格同步的无损格式特性，显著提升了情感计算与远程医疗领域算法的泛化能力，为相关研究提供了重要的基准资源。

当前挑战

在rPPG领域，从压缩视频中准确提取生理信号面临严峻挑战，视频编码过程常导致信号失真，而现有数据集往往缺乏严格的视频与生理信号同步性，影响模型训练精度。RLAP构建过程中，研究团队需克服低成本设备采集无损数据的难题，通过定制化软件接口确保原始视频流的高保真捕获，并实现毫秒级的时间戳同步以消除信号延迟。此外，数据集的样本多样性受限于特定人群（中国学生），可能引入肤色与场景偏差，这要求未来研究进一步扩展数据覆盖范围以提升算法的普适性与公平性。

常用场景

经典使用场景

在远程生理感知领域，远程学习情感与生理数据集（RLAP）为基于面部视频的非接触式光电容积描记术（rPPG）算法提供了基准测试平台。该数据集通过高同步性的无损格式视频与生理信号，精准模拟了在线学习场景下用户的面部动态与生理状态变化。研究人员利用RLAP评估算法在复杂光照、头部自然运动及面部肌肉活动等真实条件下的性能，尤其关注其在远程教育环境中对心率等生理指标的恢复能力。数据集包含的多样化任务场景，如阅读、游戏与视频学习，为算法鲁棒性提供了全面验证。

解决学术问题

RLAP数据集有效解决了rPPG研究中的两大核心难题：视频与生理信号的低成本高精度同步，以及无损视频格式的获取。传统数据集常因硬件压缩或同步偏差导致信号失真，而RLAP通过开源工具PhysRecorder与特定API设置，实现了严格的时间对齐与原始YUV信号采集。这为算法训练提供了高质量基准，显著提升了模型在跨数据集测试中的泛化能力。该数据集进一步推动了轻量化端到端模型的发展，使以往难以训练的一维卷积网络得以充分优化，为移动设备上的实时生理监测奠定了数据基础。

实际应用

RLAP数据集的实际应用场景紧密围绕远程健康监测与情感计算展开。在在线教育领域，该数据集支持开发非侵入式学习状态分析系统，通过摄像头实时检测学生的心率变异性与注意力水平，为个性化教学提供生理反馈。在远程医疗场景中，基于RLAP训练的轻量化模型可嵌入智能手机或低成本摄像头，实现家庭环境下的持续心血管健康监测。此外，该数据集在驾驶疲劳检测、心理健康评估等场景也展现出潜力，通过生理信号与面部行为的融合分析，提升人机交互系统的感知能力。

数据集最近研究

最新研究方向

在远程生理感知领域，远程学习情感与生理数据集（RLAP）的推出标志着高质量、高同步性无压缩数据采集的重要进展。该数据集通过开源工具PhysRecorder与低成本网络摄像头，实现了面部视频与血容量脉冲信号的高度同步采集，有效解决了传统数据集中因视频压缩与信号不同步导致的算法性能瓶颈。当前研究前沿聚焦于利用此类高质量数据集训练轻量化端到端模型，如论文提出的基于一维卷积神经网络的Seq-rPPG算法，其在保持极低计算开销的同时，展现出优异的跨数据集泛化能力。这一方向与移动健康监测、情感计算等热点应用紧密结合，不仅推动了远程光电容积描记术算法在嵌入式设备上的实时部署，也为远程学习场景下的注意力分析与生理状态评估提供了可靠的数据基础，对促进个性化教育技术与远程医疗发展具有深远意义。

相关研究论文

• PhysBench: A Benchmark Framework for rPPG with a New Dataset and Baseline

  华中师范大学人工智能教育学部 · 2023年