MHAD: Multimodal Home Activity Dataset|多模态数据数据集|家庭活动识别数据集

MHAD数据集是由京东健康、华中科技大学和浙江大学联合收集的第一个真实家庭环境中的多模态数据集，包含不同拍摄角度和各种家庭场景。它包含了迄今为止最全面的生理信号，是计算机视觉、机器学习和生物医学工程等多个学术研究领域的宝贵资源。

原始信息汇总

MHAD: Multimodal Home Activity Dataset with Multi-Angle Videos and Synchronized Physiological Signals

描述

MHAD数据集是由京东健康、华中科技大学和浙江大学联合收集的多模态家庭活动数据集，包含多角度视频和同步生理信号。该数据集是首个在真实家庭环境中收集的公开数据集，具有不同的拍摄角度和多种家庭场景。它包含了迄今为止最全面的生理信号，是计算机视觉、机器学习和生物医学工程等多个领域学术研究的重要资源。

内容

• 生理信号：包括心率、呼吸率等关键生理数据。
• 视频数据：多角度视频记录，涵盖不同家庭场景。
• 标注：每个场景和生理信号的详细标注。

访问和使用

• 用途：仅限学术使用，禁止商业用途。
• 访问流程：
  1. 使用官方学术邮箱发送请求邮件至[e-mail]。
  2. 邮件主题为“MHAD Dataset Access Request”。
  3. 邮件内容需包含：
     • 全名
     • 学术机构
     • 职位
     • 研究简述及数据集使用计划
     • 确认数据集仅用于学术目的的声明
  4. 等待审核，通常在5-7个工作日内回复。
  5. 审核通过后，将收到包含下载链接的邮件。

数据集结构

MHAD_Dataset

MHAD/ |-- sub01/ | |-- a/ #Before exercise | | |-- 1/ #Watching tv | | | |-- output1.avi #fontal | | | |-- output2.avi #90-degree side | | | |-- output3.avi #45-degree side | | | |-- sub01_a_1.csv #gt | | |-- 2/ #Using phone | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_2.csv | | |-- 3/ #Reading | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_3.csv | | |-- 4/ #Talking | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_4.csv | | |-- 5/ #Eating | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_5.csv | | |-- 6/ #Drinking | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_a_6.csv | |-- b/ #After exercise | | |-- 1/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_1.csv | | |-- 2/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_2.csv | | |-- 3/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_3.csv | | |-- 4/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_4.csv | | |-- 5/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_5.csv | | |-- 6/ | | | |-- output1.avi | | | |-- output2.avi | | | |-- output3.avi | | | |-- sub01_b_6.csv |-- sub40/

...

AI搜集汇总

数据集介绍

构建方式

MHAD数据集由京东健康、华中科技大学和浙江大学联合构建，旨在捕捉真实家庭环境中的多角度视频和同步生理信号。该数据集通过在不同家庭场景中设置多个摄像头，记录了受试者在进行各种日常活动时的多角度视频数据。同时，通过同步采集的心率、呼吸率等生理信号，确保了数据的全面性和准确性。这种多模态数据的整合，为研究者提供了丰富的信息资源，有助于深入探索人类行为与生理状态之间的关系。

特点

MHAD数据集的显著特点在于其多模态数据的全面性和同步性。数据集不仅包含了多角度视频记录，还同步采集了包括心率、呼吸率在内的多种生理信号，这在当前公开数据集中是极为罕见的。此外，数据集涵盖了多种家庭场景，如看电视、使用手机、阅读等，为研究者提供了多样化的研究素材。这些特点使得MHAD数据集成为计算机视觉、机器学习和生物医学工程等领域研究的宝贵资源。

使用方法

MHAD数据集主要面向学术研究，禁止任何商业用途。研究者需通过官方学术邮箱发送申请，详细说明研究目的和使用计划，并承诺仅用于学术研究。申请获批后，研究者将获得一个安全的下载链接。数据集的结构清晰，每个受试者的数据被分类存储在不同的文件夹中，包含多角度视频和相应的生理信号数据。研究者可以根据需要提取和分析这些数据，以支持其学术研究。

背景与挑战

背景概述

MHAD（Multimodal Home Activity Dataset）是由京东健康、华中科技大学和浙江大学联合创建的多模态家庭活动数据集。该数据集首次在真实家庭环境中收集了多角度视频和同步生理信号，涵盖了多种家庭场景。MHAD不仅包括了心率、呼吸率等全面的生理信号，还提供了多角度视频记录，为计算机视觉、机器学习和生物医学工程等领域的学术研究提供了宝贵的资源。其创建时间为2024年，主要研究人员包括Lei Yu、Jintao Fei等，核心研究问题是如何在真实家庭环境中有效捕捉和分析多模态数据，以推动相关领域的技术进步。

当前挑战

MHAD数据集在构建过程中面临了多重挑战。首先，如何在真实家庭环境中确保数据采集的准确性和同步性是一个主要问题。其次，多角度视频的采集和处理需要复杂的设备和技术支持，以确保视频数据的质量和一致性。此外，生理信号的同步采集和分析也面临技术难题，如信号噪声的过滤和数据对齐。这些挑战不仅影响了数据集的构建效率，也对后续的研究和应用提出了更高的技术要求。

常用场景

经典使用场景

在计算机视觉与生物医学工程的交叉领域，MHAD数据集以其多角度视频和同步生理信号的独特组合，成为研究家庭活动识别与生理状态监测的经典工具。该数据集通过捕捉真实家庭环境中的多种日常活动，如看电视、使用手机、阅读等，为研究人员提供了丰富的视觉与生理数据，从而推动了活动识别算法的优化与生理信号分析模型的精进。

解决学术问题

MHAD数据集在学术研究中解决了多角度视频与生理信号同步采集的难题，为计算机视觉与生物医学工程领域提供了宝贵的数据资源。其丰富的生理信号数据，包括心率、呼吸率等，使得研究人员能够深入探讨活动与生理状态之间的关联，推动了个性化健康监测与行为分析的发展。此外，该数据集的多角度视频数据也为复杂场景下的活动识别提供了新的研究方向。

衍生相关工作

基于MHAD数据集，研究人员开发了多种活动识别与生理状态监测算法，推动了相关领域的技术进步。例如，有研究利用该数据集训练深度学习模型，实现了高精度的家庭活动识别；还有研究通过分析同步的生理信号，提出了新的健康状态评估方法。此外，MHAD数据集还激发了多模态数据融合的研究，促进了计算机视觉与生物医学工程的跨学科合作。