sEMG Human Dataset

该数据集是由亚马逊FAR实验室、马里兰大学和约翰斯·普金斯大学的研究团队构建的一个多模态力传感数据集，旨在为机器人学习提供富含力信息的示教数据。数据集总时长达10小时，包含同步采集的自中心视频、表面肌电信号、惯性测量单元数据以及指尖力测量值，覆盖了捏取/抓握、拾放、开合和倾倒四种动作类别以及多种手势类型，涉及不同形状、大小和重量的物体。该数据集通过佩戴可穿戴设备在自然交互过程中收集原始信号，并利用薄膜柔性力敏电阻提供精确的指尖力真值，其创建过程融合了硬件设计、数据同步与校准流程。该数据集主要应用于机器人灵巧操作领域，旨在解决从人类示教中学习力敏感操作策略时缺乏接触力监督信息的关键问题，为EMG到力的映射模型训练提供了基础。This multimodal force-sensing dataset was constructed by research teams from Amazon FAR Lab, University of Maryland, and Johns Hopkins University, aiming to provide force-rich demonstration data for robotic learning. The dataset has a total duration of 10 hours, containing synchronously collected egocentric videos, surface electromyography (sEMG) signals, inertial measurement unit (IMU) data, and fingertip force measurements. It covers four action categories including pinching/grasping, pick-and-place, opening/closing, and pouring, as well as various gesture types, involving objects with different shapes, sizes, and weights. Raw signals were collected during natural human-robot interactions via wearable devices, and precise ground-truth fingertip forces were provided by thin-film flexible force-sensitive resistors. The dataset creation process integrates hardware design, data synchronization, and calibration procedures. This dataset is primarily applied in the field of robotic dexterous manipulation, aiming to address the critical issue of lacking contact force supervision information when learning force-sensitive manipulation strategies from human demonstrations, and provides a foundational resource for training EMG-to-force mapping models.

搜集汇总

数据集介绍

构建方式

sEMG Human Dataset的构建基于一套精心设计的可穿戴传感系统ForceBand，该系统集成了肌肉感知的表面肌电图（sEMG）腕带和惯性测量单元（IMU）。为获取高质量的地面真值数据，研究者在受试者指尖佩戴了薄膜柔性力敏电阻器，并嵌入透明凝胶指套中，以在记录指尖力的同时保留手部视觉外观。数据采集过程涵盖10小时的同步多模态数据，包括第一人称视角视频、sEMG、IMU及五根手指的指尖力测量。数据集的构建遵循解剖学引导的电极布局原则，在腕部七个与手指运动控制相关的肌肉区域和一个腕屈肌区域上放置了八个差分双极电极通道，从而最大化信号的信息含量与通道效率。

特点

该数据集的核心特点在于其多模态同步性和对精细力交互的深度覆盖。数据集包含四种动作类别——捏握、拾取与放置、打开与关闭、倾倒，以及四种手势类型——两指、三指、五指原子动作和21%的自由日常交互，覆盖了从10余种不同形状、尺寸和重量物体的操作场景。相较于传统仅依赖视觉或运动捕捉的数据集，sEMG Human Dataset首次将腕部肌电信号与每指尖的连续力轨迹进行了高精度配对，为从肌肉活动推断精细接触力提供了独特的监督信号。其肌肉感知的电极布局相比均匀布局的八通道配置，将力预测误差降低了18%。

使用方法

数据集的使用遵循一个三阶段部署流程。首先，新用户佩戴ForceBand进行约15分钟的快速校准，采集配对sEMG、IMU和指尖力数据，以适应用户特有的肌肉激活模式与传感器位置。校准完成后，指尖力传感器被移除，用户仅需佩戴ForceBand并录制视频即可采集目标任务演示；此时，预训练的EMG2Force模型将sEMG和IMU信号转换为每指尖的力轨迹，生成力增强的演示数据。最后，这些数据被重定向至机器人本体，用于训练一个基于流匹配的视觉运动策略，该策略同时预测机器人的运动轨迹与期望夹持力，从而实现对特定物体的精细化受力控制。

背景与挑战

背景概述

表面肌电信号（sEMG）人体数据集由亚马逊FAR、马里兰大学和约翰霍普金斯大学的研究团队于2026年创建，专注于解决机器人学习领域中力觉信息缺失的瓶颈问题。该数据集包含10小时多模态同步数据，涵盖第一人称视频、sEMG、惯性测量单元和指尖力测量，覆盖捏取、拾放、开合和倾倒四类动作及多种手势类型。其核心研究问题是：如何通过低成本、可复现的腕戴式sEMG设备，将人体自然操作中的肌肉信号转化为机器人可学习的力觉增强演示。该数据集对机器人操作领域产生了重要影响，为从人类演示中学习力觉敏感策略提供了新范式，推动了机器人灵巧操作的发展。

当前挑战

该数据集面临双重挑战。在领域问题层面，传统人类演示数据主要捕捉运动和外观信息，缺乏接触力这一力觉敏感操作的关键要素，而基于视觉的方法在遮挡和运动模糊下力估计模糊不清，直接触觉传感手套又可能遮挡视觉线索并妨碍大规模日常演示收集。在构建过程中，原始sEMG信号噪声大且与指尖力的映射关系因人而异、电极放置位置不同而变化，为此研究团队设计了两阶段方案：首先在配对数据集上预训练EMG2Force模型，再通过短时用户校准适配个体肌肉激活模式。此外，硬件设计需平衡传感精度、低成本和可复现性，采用肌肉感知电极放置和双极差分设计以提升信号质量。

常用场景

经典使用场景

在机器人学习与人类示教研究中，sEMG Human Dataset最为经典的应用场景是作为多模态力觉监督信号的源头，用于训练从表面肌电信号到指尖接触力的映射模型。该数据集提供了长达十小时的同步数据，涵盖四种动作类别和四种手势类型，包括捏取、抓取、放置与倾倒等原子操作，以及多样化的日常交互。研究者可基于该数据集训练出稳健的EMG2Force模型，进而从佩戴于腕部的sEMG腕带与IMU信号中，精准恢复出每根手指在操作过程中的实时力迹，为后续机器人策略学习提供不可或缺的力觉信息。

衍生相关工作

该数据集及其方法论已衍生出一系列开创性的工作。在硬件层面，其肌肉感知电极布局方案启发了更高通道数的模组化腕带设计，为精细手指力估计提供了更优的传感架构。在模型层面，EMG2Force架构推动了从肌电时频特征到指尖力回归的范式，被后续工作在跨用户泛化与零校准场景中持续改进。在系统层面，该工作开创了力觉增强的流匹配策略，将力作为动作与观察的双重通道引入决策过程，催生了一批结合触觉与视觉的机器人学习管线，并推动了从人类视频进行力觉感知的机器人技能迁移这一研究方向的发展。

数据集最近研究

最新研究方向

当前，sEMG Human Dataset所支撑的力感知机器人学习研究正聚焦于将人体表面肌电信号与视觉模态深度融合，突破传统运动学表征的局限性，实现精细化、可泛化的力控制策略迁移。该数据集通过记录10小时多模态数据（包括第一视角视频、肌电信号、惯性测量单元及指尖接触力），为从肌电信号到指尖力的跨模态映射模型（EMG2Force）提供了训练基础。前沿方向已从静态手势分类转向动态操作中的连续力预测与力增强的模仿学习，例如ForceBand系统利用该数据集实现了在抓取、挤压与放置等复杂任务中，针对不同形状、尺寸和重量的物体生成物体特定的力轨迹，成功率高达87%。这一研究方向不仅推动了无监督或少量校准下的人机技能转移，还为突破视觉遮挡下力的推理瓶颈提供了新范式，其意义在于使机器人能够学习到超越视觉感知的、隐式的接触力交互，从而在非结构化环境中执行更为灵巧且安全的操作。

相关研究论文

• ForceBand: Learning Forceful Manipulation with sEMG

  亚马逊·FAR实验室; 马里兰大学; 约翰斯·霍普金斯大学 · 2026年