Hand Movement Dataset for Daily Living Activities

一个使用单目RGB网络摄像头和MediaPipe Hands捕获的真实世界手部关节角度数据集。该数据集专为AI/ML、计算机视觉、生物力学和时间序列预测研究设计。它提供了11个手部关节角度的连续会话记录，并带有Trial_ID和Grip_ID的精确注释，支持时间建模和抓握级别分析。

A real-world hand joint angle dataset captured using a monocular RGB webcam and MediaPipe Hands. This dataset is specifically tailored for research in AI/ML, computer vision, biomechanics, and time series prediction. It provides continuous session recordings of 11 hand joint angles, with precise annotations for Trial_ID and Grip_ID, enabling temporal modeling and grip level analysis.

原始信息汇总

手部运动数据集（日常活动）概述

数据集基本信息

• 数据集名称：手部运动数据集（日常活动）
• 数据集地址：https://github.com/DataShubhAI/Hand-Movement-Dataset-for-Daily-Living-Activities
• 永久标识符：https://doi.org/10.5281/zenodo.19413618
• 许可协议：代码使用 MIT 许可证，数据使用 CC BY 4.0 许可证。
• 创建年份：2026年
• 作者：Shubham Yadav
• 导师：Jyotindra Narayan 博士，印度理工学院巴特那分校机械工程系助理教授
• 所属机构：印度理工学院巴特那分校机械工程系

数据集内容与特点

• 数据性质：使用单目 RGB 网络摄像头和 MediaPipe Hands 捕捉的真实世界手部关节角度数据集。
• 数据格式：连续、按会话记录的时间序列数据。
• 数据频率：约每秒30帧。
• 数据规模：包含10名右利手受试者的数据。
• 核心数据：每帧包含11个手部关节角度。
• 标注信息：包含精确的试验ID和抓握ID标注。
• 数据结构：多试验、多抓握的会话记录。
• 数据来源：实时采集的非合成数据。

抓握类型（日常活动）

数据集涵盖以下五种日常抓握活动：

1. 强力抓握 — 瓶子
2. 三指抓握 — 笔
3. 静态强力握持 — 手机
4. 精确捏取 — 纸张/硬币
5. 侧向捏取 — 书本

记录协议

每个会话记录为单一连续时间序列，按以下顺序执行抓握动作：

• 抓握1：瓶子（强力抓握），持续5秒
• 过渡：放松，持续2秒
• 抓握2：笔（三指抓握），持续5秒
• 过渡：放松，持续2秒
• 抓握3：手机（静态握持），持续5秒
• 过渡：放松，持续2秒
• 抓握4：纸张/硬币（捏取），持续5秒
• 过渡：放松，持续2秒
• 抓握5：书本（侧向捏取），持续5秒

关节角度（11个）

• 拇指腕掌关节、拇指掌指关节、拇指指间关节
• 食指掌指关节、食指近端指间关节
• 中指掌指关节、中指近端指间关节
• 无名指掌指关节、无名指近端指间关节
• 小指掌指关节、小指近端指间关节

数据文件格式

文件命名规范

SubjectXX_SessionYY.xlsx SubjectXX_SessionYY.png

Excel文件结构

• 数据工作表：
  • 时间（秒）
  • 试验ID
  • 抓握ID
  • 11个关节角度列
• 元数据工作表：
  • 受试者ID
  • 会话ID
  • 总试验次数
  • 总抓握次数
  • 创建日期

数据处理流程

1. 捕捉网络摄像头帧
2. 检测手部关键点（使用 MediaPipe）
3. 计算关节角度
4. 记录连续时间序列
5. 标注试验和抓握
6. 保存数据集（Excel）并生成图表

可视化

会话级图表包含：

• 连续的关节轨迹
• 共享时间轴
• 试验边界
• 抓握过渡
• 示例图表地址：https://github.com/user-attachments/assets/37d9ca93-f238-4cbc-9060-bf904aef8d24

应用领域

• 手势与抓握识别
• 时间序列预测（LSTM、GRU、Transformer）
• 人机交互
• 生物力学与康复系统
• 基于深度学习的运动预测

数据集优势

• 实时、真实世界的数据
• 连续的时间结构（较为罕见）
• 适用于研究和工业项目

获取方式

完整数据集可通过 Zenodo 获取：https://doi.org/10.5281/zenodo.19413618 本代码仓库仅包含示例数据。

引用格式

bibtex @dataset{yadav_narayan_hand_dataset_2026, author = {Shubham Yadav and Jyotindra Narayan}, title = {Hand Movement Dataset for Daily Living Activities}, year = {2026}, affiliation = {Department of Mechanical Engineering, IIT Patna} }

联系方式

• 作者：Shubham Yadav
• 邮箱：[e-mail]

搜集汇总

数据集介绍

构建方式

在生物力学与计算机视觉交叉领域，手部运动数据的采集对于理解人类日常活动至关重要。该数据集通过单目RGB网络摄像头与MediaPipe Hands框架，系统性地捕捉了十名右利手受试者在执行五种日常抓握动作时的手部关节角度。数据采集遵循严格的连续时序协议，每个会话以约30帧每秒的速率记录，涵盖从强力抓握到侧捏的完整动作序列，并在动作间插入放松过渡阶段。采集流程依次包括帧捕捉、手部关键点检测、关节角度计算以及带标注的连续时间序列记录，最终以结构化的Excel文件保存，并辅以可视化图表。

特点

该数据集的核心特征在于其真实世界、连续时序的数据结构，这为时间序列建模提供了罕见而宝贵的资源。数据包含11个手部关节角度的时间序列，覆盖拇指、食指、中指、无名指及小指的关键关节，并以试验标识和抓握标识进行精确标注，支持从帧级别到抓握级别的多层次分析。数据集以会话为单位组织，每个文件均附带元数据与可视化轨迹图，直观展示了关节运动轨迹、试验边界及抓握转换，便于研究者深入探索手部运动的动态模式。

使用方法

该数据集适用于人工智能、机器学习及生物力学等多个研究领域，尤其适合时间序列预测与手部动作识别任务。使用者可通过提供的Excel文件直接访问时间戳、试验ID、抓握ID及关节角度数据，利用其连续时序特性训练如LSTM、GRU或Transformer等预测模型。数据集的结构化设计便于分割为训练与测试集，进行抓握分类或运动预测实验，同时可视化图表可辅助数据探索与模型结果验证，为人类-计算机交互及康复工程等应用提供可靠的数据基础。

背景与挑战

背景概述

在人工智能与生物力学交叉领域，实时手部运动数据的获取对于推动人机交互、康复工程及手势识别研究至关重要。Hand Movement Dataset for Daily Living Activities 数据集由印度理工学院帕特纳分校机械工程系的Shubham Yadav与Jyotindra Narayan助理教授于2026年创建。该数据集旨在通过单目RGB摄像头与MediaPipe Hands技术，捕捉十名右利手受试者在执行日常活动抓握动作时的连续时间序列手部关节角度数据。其核心研究问题聚焦于如何利用真实世界的非合成数据，为时序建模与抓握层级分析提供高质量基准，从而促进深度学习模型在手部运动预测与生物力学分析中的应用，对相关领域具有显著的实践与理论价值。

当前挑战

该数据集致力于解决日常活动中手部运动识别与预测的挑战，其核心问题在于如何从连续、动态的手部关节角度序列中准确分割与分类不同的抓握模式，并实现跨受试者的泛化建模。在构建过程中，研究团队面临多重挑战：首先，利用单目摄像头与MediaPipe进行实时手部关节点估计时，需克服光照变化、遮挡及快速运动带来的噪声与误差；其次，设计连续多抓握的录制协议时，必须确保动作转换的自然性与时序标注的精确性，以维持数据的时间连贯性与结构完整性；此外，将原始关节点坐标转换为有生物力学意义的关节角度，并组织为包含丰富元数据的结构化格式，亦对数据处理流程提出了较高要求。

常用场景

经典使用场景

在人工智能与计算机视觉领域，手部运动数据集常被用于构建和验证时序预测模型。该数据集通过连续记录日常活动中的手部关节角度，为研究者提供了丰富的时序信号，使得长短期记忆网络（LSTM）和变换器（Transformer）等模型能够学习手部运动的动态模式，进而实现精准的手势识别与抓握分类。

解决学术问题

该数据集有效解决了生物力学与人机交互研究中缺乏真实世界连续手部运动数据的难题。通过提供高帧率、多被试的关节角度时序记录，它支持对抓握动作的精细分析，促进了手势识别算法的开发，并为康复工程中的运动功能评估提供了量化依据，推动了相关领域的实证研究进展。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在基于深度学习的抓握识别算法、手部运动轨迹预测模型以及生物力学分析工具的开发。这些工作不仅拓展了时序数据在动作理解中的应用，也为跨学科研究如康复机器人与智能感知系统提供了重要的算法基准和验证平台。