MHAD|家庭健康监测数据集|视频生理学数据集

MHAD数据集是由京东健康、华中科技大学和浙江大学联合创建的多模态家庭活动数据集，旨在推进视频生理学在家庭环境中的应用。该数据集包含1440段视频，来自40名受试者在真实家庭环境中进行的6种典型活动，从3个不同角度（正面、45度侧面、90度侧面）进行录制，并同步记录了5种生理信号（呼吸、PPG、ECG、SpO2、血压）。数据集的创建过程严格控制了光照条件和活动设计，确保数据的多样性和真实性。MHAD数据集主要应用于非接触式家庭健康监测，旨在解决现有数据集在多角度和活动多样性方面的不足，提升视频生理学研究的准确性和实用性。

原始信息汇总

MHAD: Multimodal Home Activity Dataset with Multi-Angle Videos and Synchronized Physiological Signals

描述

MHAD数据集是由京东健康、华中科技大学和浙江大学联合收集的多模态家庭活动数据集，包含多角度视频和同步生理信号。该数据集是首个在真实家庭环境中收集的公开数据集，具有不同的拍摄角度和多种家庭场景。它包含了迄今为止最全面的生理信号，是计算机视觉、机器学习和生物医学工程等多个学术研究领域的宝贵资源。

内容

• 生理信号：包括心率、呼吸率和其他重要生命体征的全面数据。
• 视频数据：在各种家庭场景中拍摄的多角度视频记录。
• 注释：每个场景和生理信号的详细注释。

访问和使用

• 学术用途：该数据集仅用于学术研究，禁止商业使用。
• 访问流程：
  1. 使用官方学术邮箱发送请求邮件。
  2. 邮件内容需包含：全名、学术机构、职位、研究简述及数据集使用意图、学术用途声明。
  3. 发送至邮箱：[e-mail]，主题为："MHAD Dataset Access Request"。
  4. 等待审核，通常在5-7个工作日内回复。
  5. 审核通过后，将收到包含数据集下载链接的邮件。

数据集结构

MHAD_Dataset

MHAD/ |-- sub01/ | |-- a/ #Before exercise | | |-- 1/ #Watching tv | | | |-- output1.avi #fontal | | | |-- output2.avi #90-degree side | | | |-- output3.avi #45-degree side | | | |-- sub01_a_1.csv #gt | | |-- 2/ #Using phone | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_2.csv | | |-- 3/ #Reading | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_3.csv | | |-- 4/ #Talking | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_4.csv | | |-- 5/ #Eating | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_5.csv | | |-- 6/ #Drinking | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_6.csv | |-- b/ #After exercise | | |-- 1/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_1.csv | | |-- 2/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_2.csv | | |-- 3/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_3.csv | | |-- 4/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_4.csv | | |-- 5/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_5.csv | | |-- 6/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_6.csv |-- sub40/

...

AI搜集汇总

数据集介绍

构建方式

为了解决现有数据集在家庭环境中视频生理信号监测的局限性，MHAD数据集通过招募40名志愿者，在真实的家庭环境中进行数据采集。该数据集采用了多角度（正面、45度侧面、90度侧面）同步视频录制，并结合了多种生理信号（呼吸、PPG、ECG、SpO2、血压）的记录。所有视频和生理信号均通过高精度的BIOPAC MP160和OMRON J760设备进行同步采集，确保数据的精确性和一致性。此外，数据集涵盖了六种典型的家庭活动，如看电视、使用手机、阅读、交谈、进食和饮水，以确保数据的多样性和代表性。

特点

MHAD数据集的显著特点在于其多角度视频录制和多生理信号同步记录，这在现有的视频生理信号数据集中是独一无二的。此外，数据集在真实家庭环境中采集，涵盖了多种日常活动，使得数据更具现实意义和应用价值。通过这种设计，MHAD数据集不仅能够评估视频生理信号提取算法在不同角度和活动下的鲁棒性，还能为家庭健康监测提供更为全面和准确的数据支持。

使用方法

MHAD数据集适用于多种视频生理信号提取和分析任务，特别是远程心率和呼吸率测量。研究者可以使用该数据集来训练和验证各种无监督和监督学习算法，以提高在复杂家庭环境中的测量准确性。此外，数据集的多角度视频和多生理信号记录特性，使其成为开发和测试新型视频生理信号提取方法的理想平台。通过结合rPPG-toolbox等工具，研究者可以进一步探索和优化视频生理信号的提取和分析技术。

背景与挑战

背景概述

在远程生理信号监测领域，视频生理学（Video-based Physiology）通过远程光电容积描记术（rPPG）等技术，提取脉搏、呼吸等生理信号，展现出在家居环境中的巨大潜力。然而，现有数据集多局限于近距离、静态、正面录制，且仅包含1-2种生理信号，难以满足真实家庭监控的需求。为填补这一空白，MHAD数据集应运而生，由JD Health、华中科技大学和浙江大学联合开发。该数据集包含40名受试者的1440段视频，捕捉了6种典型家庭活动，并从3个角度进行录制，同时记录了5种生理信号，旨在提升视频生理学研究的准确性和真实性。MHAD数据集的推出，标志着视频生理学在家庭监控应用中的重要进展，为相关领域的研究提供了宝贵的资源。

当前挑战

MHAD数据集在构建过程中面临多重挑战。首先，视频生理信号的提取对活动和摄像角度高度敏感，身体运动和面部角度变化均可能引入显著的噪声，影响信号的准确性。其次，现有数据集多限于近距离、正面录制，缺乏多角度和动态场景的数据，导致模型在复杂环境下的泛化能力不足。此外，MHAD数据集在数据收集和处理过程中，需确保视频与生理信号的毫秒级同步，这对数据采集和处理技术提出了高要求。最后，尽管MHAD数据集包含了多种生理信号，但如何有效利用这些信号，提升远程监测的全面性和准确性，仍是未来研究的重要课题。

常用场景

经典使用场景

MHAD数据集在视频生理学研究中具有经典应用场景，特别是在远程光电容积脉搏波描记术（rPPG）领域。该数据集通过捕捉真实家庭环境中的多角度视频和同步生理信号，为研究人员提供了一个全面的平台，以探索和验证非接触式生理监测技术。例如，研究人员可以利用MHAD数据集来开发和测试新的rPPG算法，这些算法能够在不同的摄像角度和多种家庭活动条件下准确提取心率和呼吸率等生理信号。

实际应用

MHAD数据集在实际应用中具有广泛潜力，特别是在家庭健康监测和远程医疗领域。通过提供多角度和多活动的视频数据，MHAD支持开发更加真实和可靠的非接触式生理监测系统。这些系统可以应用于日常家庭环境中，帮助监测老年人和慢性病患者的生理状态，及时发现异常情况，从而提高生活质量和健康管理效率。此外，MHAD数据集还可用于智能家居设备的开发，增强其健康监测功能。

衍生相关工作

MHAD数据集的发布催生了多项相关研究工作，特别是在视频生理学和非接触式监测技术领域。例如，基于MHAD数据集的研究已经开发出多种新的rPPG算法，这些算法在多角度和多活动条件下表现出更高的准确性和鲁棒性。此外，MHAD还激发了对其他生理信号（如血氧饱和度和血压）的远程监测研究。这些研究不仅推动了视频生理学的发展，也为未来的家庭健康监测和远程医疗技术提供了新的思路和方法。