HARMES

HARMES是由德国锡根大学和波恩大学联合推出的多模态可穿戴人类活动识别数据集，首次整合了腕部惯性测量单元（IMU）、大气环境传感器（湿度/温度/压力）和音频三种传感模态。该数据集包含20名参与者在家庭环境中执行的15类日常活动，总时长超过80小时，其中标记活动数据达61小时，每条记录包含141次独立活动重复。数据采集通过双腕佩戴智能设备实现，涵盖烹饪、清洁等复杂动作的异构传感信号。作为当前最大的腕部惯性-声学-环境传感联合数据集，其核心价值在于解决单一运动模态对相似活动（如洗手与刷牙）的识别模糊性问题，为医疗监护、智能家居等领域的多模态算法研究提供基准资源。

HARMES is a multimodal wearable human activity recognition dataset jointly launched by the University of Siegen and the University of Bonn in Germany. It is the first dataset to integrate three sensing modalities: wrist-worn inertial measurement units (IMUs), ambient environmental sensors (humidity, temperature and pressure), and audio. This dataset contains 15 categories of daily activities performed by 20 participants in a home environment, with a total duration of over 80 hours, among which labeled activity data totals 61 hours, and each record includes 141 independent activity repetitions. Data was collected via smart devices worn on both wrists, covering heterogeneous sensing signals from complex movements such as cooking and cleaning. As the largest currently available joint dataset of wrist-worn inertial, acoustic and environmental sensing, its core value lies in addressing the recognition ambiguity of similar activities (e.g., handwashing and toothbrushing) caused by single motion modality, providing benchmark resources for multimodal algorithm research in fields such as medical monitoring and smart homes.

原始信息汇总

数据集概述：HARMES

HARMES 是一个面向可穿戴人体活动识别（HAR）的多模态数据集。该数据集由20名受试者执行15种日常生活活动（ADL）时采集的数据组成，包含61小时的完整标注数据及额外1小时的自定义活动数据（总计20小时）。

数据版本

数据集提供两个版本：

• HARMES-RAW.zip：完整原始数据上传，包含所有未经重采样和缩放的原始传感器数据，数据已通过“ts_sync”时间戳同步。
• HARMES-preprocessed.pkl：Python pickle文件（每位受试者一个），包含分次记录的数据。数据已重采样至50Hz，并对IMU传感器值、BME280大气传感器值及音频数据进行了逐次Z-score归一化。

数据结构

原始数据结构

• 受试者文件夹（01-20）
  • 记录文件夹（xy01-xy04，xy为受试者ID）
    • <timestamp1>_TASKLIST.csv：任务顺序清单（用于第1-3次记录）
    • <timestamp2>.csv：活动标签及注释
    • <rec_id>_merged.csv：来自Puck.js的数据（左手腕6轴IMU + 3轴BME280）
    • recording_<date_str>.csv：智能手表IMU数据（右手腕6轴IMU）
    • recording_<date_str>_SYNC_H5.h5：HDF5文件，包含右手腕麦克风录音数据（44.1kHz）

预处理数据结构

• 文件：participant_<受试者ID>.pkl
• 内容：每位受试者的4-5次记录，每个记录为一个字典，包含以下键：
  • IMU_L（左手IMU数据，50Hz）
  • IMU_R（右手IMU数据，50Hz）
  • Audio（音频信号，44.1kHz）
  • BME280（环境传感器数据，50Hz）
  • Labels（标注的起始/结束时间，单位毫秒）
  • rec_id（记录ID，与原始版本记录文件夹名一致）

关键词

• human activity recognition
• acoustic sensing
• IMU
• BME280
• Atmospheric Sensing

其他信息

• 许可协议：Creative Commons Attribution 4.0 International
• DOI：10.5281/zenodo.19425719
• 软件仓库：https://github.com/RBurchard/HARMES
• 开发语言：Python
• 开发状态：Active

数据文件

文件	大小	MD5校验码
HARMES-preprocessed.zip	22.0 GB	eda78bd7c5915a3cbe438fe05a1f0b3b
HARMES-RAW.zip	19.9 GB	b4c041f3ab1f139d554a9d2615639682

搜集汇总

数据集介绍

构建方式

HARMES数据集招募了20名成年参与者，在其各自家中执行日常家务活动时采集数据。每位参与者佩戴了基于WearOS 5的智能手表于右手腕，而左手腕则佩戴集成了BME280大气环境传感器的Puck.js设备。通过蓝牙低功耗技术，Puck.js将加速度计、陀螺仪、湿度、温度和气压数据流式传输至智能手表，后者同步保存来自内置传感器的加速度计、陀螺仪和麦克风录音。实验过程采用在线即时标注与三次击掌同步手势相结合的方式，确保所有传感器流与活动标签在时间上精确对齐。每个参与者完成了47次、涵盖15类日常活动的重复执行，总记录时长超过80小时，其中约61小时为完全标注的活动数据，另有约20小时的部分标注自由活动数据。

特点

HARMES数据集首次将双腕惯性测量单元（IMU）、高保真音频记录与大气环境传感（湿度、温度、气压）这三类模态联合采集，填补了现有公开数据集的空白。其规模远超同类数据集，是此前最大的腕部惯性-声学数据集（SaMoSa）的近六倍。数据采集在参与者真实家庭环境中进行，跨越8个不同地点，带来了极大的环境多样性——不同水龙头、电器和房间布局导致传感器信号的丰富变异。研究队列包含3名左撇子参与者（占15%），性别平衡（10女10男），年龄跨度18至67岁，为评估跨个体泛化能力提供了坚实的多样性基础。

使用方法

HARMES数据集以原始未处理格式和预处理就绪格式在Zenodo上公开发布，并伴有详细的README说明和GitHub上的完整示例代码。用户可通过提供的Python pickle文件直接加载已同步、重采样至50Hz并进行z-score归一化的传感器数据，快速开展下游实验。基准实验采用留一参与者交叉验证协议，训练深度卷积LSTM模型对5秒和10秒的非重叠时间窗口进行分类。数据集尤其适合研究多模态传感器融合策略（如早期、晚期和门控融合），以及探索音频与惯性数据在减少运动模糊活动（如洗手与洗碗）歧义方面的互补价值。

背景与挑战

背景概述

人体活动识别（HAR）领域虽已取得长足进展，但单一模态传感（如仅依赖惯性测量单元或麦克风）在面对复杂、相似日常活动（如洗手与刷牙）时，常产生模糊信号，难以区分。为突破此瓶颈，多模态融合策略愈发重要，然而现有数据集多局限于实验室环境，且缺乏同时采集手腕惯性数据、音频与环境大气传感的公开资源。2025年，由德国锡根大学Robin Burchard与波恩大学等机构的研究人员共同创建了HARMES数据集，旨在填补这一空白。该数据集首次融合了双腕惯性测量单元、高分辨率音频以及温湿度与气压传感，由20名参与者在自家真实环境中采集，总计超过80小时（约61小时完全标注），覆盖15种日常活动。其规模约为先前最大腕部惯性-声学数据集（SAMoSa）的六倍，为多模态HAR研究提供了更贴近真实世界的基准。

当前挑战

HARMES面临的核心挑战在于解决单模态传感的固有模糊性，例如仅凭惯性数据难以区分的洗手与洗碗、揉护手霜与手部消毒等运动模式相似的活动，需依赖音频与环境传感的互补信息。在构建过程中，数据集面临多重挑战：首先，需在非受控的家庭环境中同步来自不同设备（智能手表与Puck.js）的多种传感器数据流（采样率分别为50Hz与52.5Hz），并通过拍手手势实现精准对齐；其次，需平衡参与者的自然活动风格与实验协议，确保同一活动在不同住宅（共8个地点）中的多样化执行，以避免模型过拟合于特定设备或环境；此外，数据集的标注需兼顾隐私保护（如静音包含人声的音频片段）与时间效率，采用实时标注结合人工校验，最终仅需对47.5秒的音频进行静音处理，在保障隐私的同时维持了数据的完整性与可用性。

常用场景

经典使用场景

在可穿戴人体活动识别领域，HARMES数据集的核心用途在于推动多模态融合算法的研究与发展。通过同步采集手腕佩戴的惯性测量单元数据、高分辨率音频信号以及环境大气传感数据，该数据集为探索运动、声音与环境信息的互补性提供了独特平台。研究者可利用其80余小时的丰富标注数据，针对日常活动中的复杂相似动作（如洗手与洗碗）开展跨模态特征提取与融合策略的实验，从而验证不同传感器组合对识别性能的提升效果。

衍生相关工作

基于HARMES数据集衍生出了多项经典研究工作，包括利用知识蒸馏方法训练仅依赖IMU的学生模型以降低功耗的AudioIMU框架，以及通过图神经网络的程序追踪技术对复杂多步骤活动进行细粒度解析的PrISM-Tracker。该数据集还启发了隐私保护的超声波感知研究，其中使用高频音频替代全频段录音以规避伦理风险。此外，对比实验框架也探索了双腕IMU与单腕加音频的性价比权衡，为可穿戴系统设计提供了硬件选型依据。

数据集最近研究

最新研究方向

在当前可穿戴人体活动识别（HAR）领域，多模态传感融合已成为突破单模态局限性的关键范式，尤其针对日常活动（ADLs）中因运动模式相似导致的歧义性问题。HARMES数据集通过创新性地融合腕部惯性测量单元（IMU）、大气环境传感（湿度、温度、气压）与高保真音频三大模态，在20名受试者居家环境下采集超80小时数据，其中标注时长较现有最大腕部惯性-声学数据集提升近六倍。该数据集的重要前沿价值在于：首次系统性地探究环境与声学信号如何互补惯性测量的局限，特别是针对仅靠运动数据难以区分的活动（如洗手与洗碗）。通过跨受试者泛化评估与消融实验，研究证实多模态融合显著提升分类鲁棒性，而湿度传感器虽表现出对水相关活动的特异性响应，但仍需更先进的上下文建模策略以充分发挥其潜力。HARMES的发布为开发隐私友好、高生态效度的智能感知系统提供了前所未有的基准平台，有力推动了健康监测、辅助生活等场景下的多模态HAR研究。

相关研究论文

• HARMES: A Multi-Modal Dataset for Wearable Human Activity Recognition with Motion, Environmental Sensing and Sound

  锡根大学; 波恩大学·Lamarr机器学习和人工智能研究所 · 2026年