OpenWatch

OpenWatch是由苏黎世联邦理工学院与华为研究院联合推出的首个多模态智能手表手势识别基准数据集。该数据集通过商用华为GT4手表同步采集六轴IMU（100Hz）和PPG信号，涵盖50名参与者的59种标记手势序列，包含10小时以上数据量，并首次引入负样本标签以模拟真实场景。数据采集过程采用定制化应用引导手势执行，结合姿态和活动变量增强多样性。该数据集旨在推动手腕部多模态感知研究，解决现有手势数据集封闭性、单模态性及缺乏背景类别的问题，为智能手表手势交互算法开发提供关键基准支持。

OpenWatch is the first multimodal smartwatch gesture recognition benchmark dataset jointly launched by ETH Zurich and Huawei Research. It synchronously collects six-axis IMU (100Hz) and PPG signals via a commercial Huawei GT4 smartwatch, covering 59 labeled gesture sequences from 50 participants with a total data volume of over 10 hours. For the first time, it introduces negative sample labels to simulate real-world scenarios. The data collection process employs a customized application to guide gesture execution, combining posture and activity variables to enhance diversity. This dataset aims to advance wrist-based multimodal perception research, addressing the limitations of existing gesture datasets including closure, unimodality and lack of background categories, and provides critical benchmark support for the development of smartwatch gesture interaction algorithms.

搜集汇总

数据集介绍

构建方式

OpenWatch 数据集是首个面向智能手表手势识别的开放多模态基准数据集，基于华为 Smartwatch GT 4 商用设备采集。研究团队招募了 50 名参与者，在 78 个实验会话中同步录制了 6 轴 IMU（100 Hz）与 PPG 信号。通过自定义数据采集应用，引导受试者在坐姿、站立、手臂下垂及行走等多种姿态下执行手势，并利用基于带通滤波与峰值检测的自动分割流水线，将连续传感器流切分为独立手势片段。数据集最终囊括 59 类手势标签，包含 5 类基准正样本指令手势与 54 类负样本背景动作，负样本涵盖抓取杯子、打字、挥手等日常手部活动，为模型在真实场景下的鲁棒性评估提供了全面的负类标注。

使用方法

OpenWatch 数据集支持两类评估粒度：窗口级与片段级。窗口级评估对每个固定长度（1秒，步长0.2秒）的滑窗独立分类；片段级则通过聚合连续窗口预测（k=3 早停规则或多数投票）获得序列级结果。数据预处理需进行通道级 Z 分数归一化，训练集统计量应用于验证与测试集。研究提供了完整的基线系统，包括传统时序模型（InceptionTime、Hydra）、专用手势 CNN（Apple-CNN）以及可穿戴基础模型（NormWear）及其 LoRA 微调变体。作者还开源了轻量级混合专家架构 Mix-Token，该模型融合多频段卷积分支与统计 Transformer 分支，通过可学习逻辑混合实现自适应融合，为资源受限的腕载手势识别树立了新的性能标杆。

背景与挑战

背景概述

在全球智能手表用户数量于2025年突破五亿的背景下，手腕佩戴式设备已成为最普及的可穿戴传感平台。然而，基于腕部的手势识别领域长期缺乏公开的多模态基准数据集，现有非公开数据多为单模态且缺少负类样本，制约了真实场景下的模型评估与比较。为此，来自苏黎世联邦理工学院和华为苏黎世研究中心的研究人员于2026年共同创建了OpenWatch数据集。该数据集首次在商用智能手表上同步采集了来自50名参与者的10小时惯性测量单元和光电容积描记信号，涵盖了59种标记手势类别与明确的负类活动，旨在为细粒度手势识别提供标准化、跨被试的评估框架，推动了腕戴式人机交互领域的基础研究。

当前挑战

当前腕式手势识别面临多重挑战。在领域问题层面，现有方法多依赖单模态传感器，难以利用光电容积描记信号捕捉手势相关的血液动力学扰动，且缺乏包含负类样本的真实场景基准，导致模型在开放环境中泛化能力不足。在数据集构建过程中，挑战尤为突出：需要解决跨被试的个体差异、不同身体姿势与运动状态下的信号变化，以及腕部佩戴左右手不均衡问题；同时，如何在资源受限的智能手表上实现高精度、低延迟的实时手势识别，并平衡专用轻量架构与大型基础模型之间的效率与性能取舍，也是亟待攻克的难题。

常用场景

经典使用场景

OpenWatch数据集的核心应用场景在于腕戴式手势识别的研究与评估。它开创性地为基于商用智能手表的手势交互提供了首个公开的多模态基准测试平台。该数据集通过同步采集50名受试者在多种姿态与活动条件下的IMU与PPG信号，涵盖59种标注手势，并明确包含负类样本，使得研究者能够在接近真实世界的非受控环境中，系统性地评估和比较不同手势识别算法的鲁棒性与泛化能力，为人机交互领域提供了一套标准化的验证框架。

解决学术问题

该数据集填补了腕戴式手势识别领域长期存在的关键空白：此前公开数据集多为单模态、封闭源且缺乏背景负类标注，难以支撑野外场景的可靠评估。OpenWatch通过同步释放IMU与PPG双模态数据，首次揭示了光电容积描记信号在手势动力学中的预测价值，为基础模型带来了12.5%的F1分数提升。它同时系统比较了轻量级专用架构与大模型在精度与效率之间的权衡，澄清了资源受限可穿戴感知场景下的模态融合与模型适应策略。

实际应用

在实际应用层面，OpenWatch直接赋能了智能手表上的免触控交互系统，例如通过双握拳、双捏合、滑动等五类代表性手势实现音乐播放控制、电话接听、导航指令等日常操作。其提出的MixToken轻量级架构以仅22.3万参数实现了90.3%的宏F1分数，为手表设备上的实时手势识别提供了高效且精准的部署方案。此外，PPG信号的利用还拓展了手势识别在运动干扰场景中的稳定性，使健康监测与手势交互能够无缝融合。

数据集最近研究

最新研究方向

OpenWatch数据集聚焦于智能手表场景下的多模态手势识别前沿方向，通过同步采集六轴惯性测量单元与光电容积描记信号，构建了首个公开基准。该研究深入探索了任务专用轻量级混合专家架构MixToken与可穿戴基础模型LoRA微调之间的权衡，揭示了PPG信号对基础模型预测性能具有显著提升作用，在资源受限的可穿戴感知领域具有里程碑意义。

相关研究论文

• OpenWatch: A Multimodal Benchmark for Hand Gesture Recognition on Smartwatches

  苏黎世联邦理工学院; 华为研究院·苏黎世 · 2026年