emg2pose

一个包含表面肌电图（sEMG）记录与手部运动捕捉记录配对的数据集。数据集包含25,253个HDF5文件，每个文件包含时间对齐的2kHz sEMG和单个手在单个阶段的关节角度。数据集涵盖193名参与者，总计370小时和29个阶段。This dataset pairs surface electromyography (sEMG) recordings with hand motion capture records. It consists of 25,253 HDF5 files, each containing time-aligned 2 kHz sEMG data and joint angles of a single hand during one session. The dataset encompasses 193 participants, with a total recording duration of 370 hours across 29 sessions.

原始信息汇总

emg2pose 数据集概述

数据集描述

emg2pose 数据集包含表面肌电图（sEMG）记录与手部运动捕捉记录的配对数据。数据集包含 25,253 个 HDF5 文件，每个文件包含时间对齐的 2kHz sEMG 和单个手在单个阶段的关节角度数据。每个阶段约为 1 分钟，共有 193 名参与者，涵盖 370 小时和 29 个阶段。

数据集统计

数据集的统计信息如下：

<p align="center"> <img src="images/dataset_stats.png" alt="Dataset statistics" width="75%"> </p>

元数据

metadata.csv 文件包含每个 HDF5 文件的以下信息：

列名	描述
user	匿名用户ID
session	录制会话（每个会话包含多个阶段）
stage	阶段名称
side	手部侧（left 或 right）
moving_hand	手部是否在该阶段被提示移动
held_out_user	用户是否被排除在训练集之外
held_out_stage	阶段是否被排除在训练集之外
split	数据集划分（train, test, 或 val）
generalization	泛化类型（跨用户 user，跨阶段 stage，或跨用户和阶段 user_stage）

数据集版本

• 完整数据集：431 GiB，包含 25,253 个 HDF5 文件。
• 小型数据集：约 600 MiB，用于快速启动和验证。

预训练模型

提供以下预训练模型的检查点文件：

1. vemg2pose（跟踪和回归设置）
2. neuropose（回归设置）

许可证

emg2pose 数据集采用 CC-BY-NC-SA-4.0 许可证。

搜集汇总

数据集介绍

构建方式

emg2pose数据集的构建基于表面肌电图（sEMG）记录与手部动作捕捉记录的配对。该数据集包含25,253个HDF5文件，每个文件对应一个单一手部在单一阶段的时间对齐sEMG和关节角度数据。数据涵盖193名参与者，总计370小时和29个阶段。每个阶段约持续一分钟，提供了丰富的手部运动数据。通过`emg2pose.data.Emg2PoseSessionData`接口，用户可以编程方式读取这些HDF5文件，确保数据的完整性和一致性。

特点

emg2pose数据集的主要特点在于其高频率的sEMG记录（2kHz）与精确的动作捕捉数据相结合，提供了对手部细微运动的深入洞察。此外，数据集包含详细的元数据，如用户ID、会话、阶段、手部侧向、是否移动等，便于进行多样化的分析和实验。数据集还提供了训练、测试和验证的划分，支持多种泛化类型的研究，包括跨用户、跨阶段以及跨用户和阶段的泛化。

使用方法

使用emg2pose数据集，首先需克隆GitHub仓库并设置环境，安装相关依赖。对于快速开始，可下载600MB的简化版本进行初步验证。完整数据集（431GB）可通过提供的链接下载并解压。训练和评估代码已集成，用户可通过命令行运行训练和评估脚本，选择不同的实验配置。此外，预训练的检查点文件可供下载，便于直接进行模型评估和分析。Jupyter Notebook提供了数据加载、推理和可视化的示例，帮助用户快速上手。

背景与挑战

背景概述

emg2pose数据集是由Facebook Research团队创建的，专注于表面肌电图（sEMG）记录与手部运动捕捉记录的配对研究。该数据集包含25,253个HDF5文件，每个文件包含时间对齐的2kHz sEMG数据和单手在单一阶段的关节角度。数据集涵盖193名参与者，总计370小时和29个阶段。emg2pose的创建旨在解决肌电信号与手部运动之间的映射问题，这对于人机交互、康复工程和虚拟现实等领域具有重要意义。

当前挑战

emg2pose数据集在构建过程中面临多项挑战。首先，数据集的规模庞大，达到431 GiB，这给数据存储和处理带来了显著的技术挑战。其次，数据集需要确保sEMG信号与运动捕捉数据之间的高度时间对齐，这对数据采集和处理技术提出了高要求。此外，数据集涉及多用户和多阶段的数据，如何确保数据在不同用户和阶段之间的一致性和泛化能力也是一个重要挑战。最后，数据集的构建还需要考虑隐私保护和数据匿名化，以确保参与者的个人信息安全。

常用场景

经典使用场景

在肌电图（sEMG）与运动捕捉数据结合的研究领域中，emg2pose数据集的经典使用场景主要集中在手部动作的实时预测与分析。通过将高频的sEMG信号与精确的运动捕捉数据（如关节角度）进行时间对齐，研究人员能够构建模型，以预测手部在不同动作状态下的姿态。这种结合不仅提升了动作识别的准确性，还为手势控制、康复治疗等应用提供了坚实的基础。

实际应用

在实际应用中，emg2pose数据集展现了广泛的应用潜力。例如，在医疗康复领域，通过分析患者的sEMG信号，可以实时监测和评估手部功能的恢复情况，为个性化康复方案的制定提供科学依据。在人机交互领域，该数据集支持开发更加自然和精准的手势控制系统，提升用户体验。此外，emg2pose还可应用于虚拟现实和增强现实技术中，实现更加逼真的手部动作捕捉和交互。

衍生相关工作

emg2pose数据集的发布催生了多项相关研究工作。例如，基于该数据集，研究人员开发了多种手部动作预测模型，显著提升了动作识别的准确性和实时性。此外，该数据集还激发了对手部动作神经机制的深入研究，推动了肌电信号与运动学数据结合的理论发展。在应用层面，emg2pose数据集为手势控制、康复治疗等领域的创新应用提供了数据支持，促进了相关技术的实际落地和推广。