Grab-n-Go_Data

Grab-n-Go数据集由18名参与者使用35种不同的物体进行的20,160次微手势实例组成。该数据集旨在支持未来在物体握持时进行微手势识别的研究。数据集中的每个参与者都执行了5种不同的抓握姿势，每种姿势包含6个微手势，总共30个微手势。每种抓握姿势涉及5种不同的物体，总共25种物体。每个参与者对每个抓握姿势中随机分配的2个物体执行了6次微手势24次，每个参与者共有1,440个微手势样本。该数据集的发布将有助于研究人员探索和改进物体握持时的微手势识别技术。

The Grab-n-Go Dataset comprises 20,160 micro-gesture instances performed by 18 participants using 35 distinct objects. This dataset is intended to support future research on micro-gesture recognition during object holding. Each participant in the dataset executes 5 distinct grasping postures, with 6 micro-gestures per posture, totaling 30 micro-gestures per participant. Each grasping posture involves 5 different objects, resulting in a total of 25 unique objects overall. For each grasping posture, each participant carries out the 6 micro-gestures 24 times on 2 randomly assigned objects, leading to 1,440 micro-gesture samples per participant. The release of this dataset will help researchers explore and improve micro-gesture recognition technologies for held objects.

原始信息汇总

Grab-n-Go Microgesture Recognition Dataset 概述

1. 数据集简介

• 目的：支持在"手部占用"场景下进行始终可用的、细微的手部微手势识别研究。
• 技术：采用新型主动声学传感方法（C-FMCW），通过单一腕戴设备捕获手部运动、抓握姿势和物体几何形状的丰富信息。
• 应用：促进日常情境中细粒度交互的机器学习模型开发和评估。

2. 数据收集方法

2.1 传感模式与设备

• 设备：定制轻量级腕带设备，使用C-FMCW主动声学传感。
• 信号：发射18-21 kHz和21.5-24.5 kHz的频率扫描。
• 采样率：50 kHz。

2.2 特征表示

• 主要特征：处理后的"回声剖面"（2D特征图）。
• 文件格式：
  • .npy：存储原始回声剖面数据。
  • .png：可视化回声剖面。

2.3 参与者

• 总数：18人（初始研究10人，后续研究8人）。

2.4 微手势集

• 数量：30种不同的微手势，基于Schlesinger的抓握分类法。

2.5 物体

• 总数：35种不同物体（初始研究24种非变形物体，后续研究10种可变形物体）。

2.6 数据量

• 总量：20,160个微手势实例。

2.7 会话定义

• 定义：参与者连续进行一组微手势的数据收集块。

2.8 硬件与软件

• 硬件：定制腕带设备，集成扬声器和麦克风。
• 软件：Python进行数据采集和处理。

2.9 协议

• 流程：每个抓握姿势收集6个会话数据，每个会话随机顺序执行6种微手势。

3. 数据结构与使用

3.1 文件命名约定

• 格式：PXX_sessionY_graspname_gesturename_instanceZ_type.extension
• 示例：
  • P1_session1_cylindrical_middle-tap_1_diff.npy
  • P1_session1_cylindrical_middle-tap_1_original.png

3.2 文件与文件夹用途

• PXX文件夹：特定参与者的所有数据。
• .npy文件：核心数据文件，包含2D回声剖面。
• .png文件：回声剖面的可视化表示。

4. 性能说明

• 机器学习框架：PyTorch实现的自定义编码器-解码器模型。
• 结果：
  • 非变形物体平均识别准确率：92.0%。
  • 可变形物体平均识别准确率：92.9%。

5. 许可与引用

• 许可：Creative Commons 1.0 Universal Public Domain Dedication。
• 引用：需引用相关论文。

搜集汇总

数据集介绍

构建方式

Grab-n-Go数据集的构建采用了先进的主动声学传感技术，通过嵌入在腕带中的扬声器和麦克风对捕捉手持物体时的微手势进行识别。研究团队设计了一个包含30种微手势的数据集，涵盖了5种不同的抓握姿势，每种姿势对应6种微手势。数据收集过程中，10名参与者使用25种日常物品执行这些微手势，共生成14,400个微手势实例。随后，另一项研究进一步验证了系统对10种可变形物体的鲁棒性，新增了5,760个微手势实例。所有数据均通过深度学习模型处理，确保了数据的高质量和一致性。

特点

Grab-n-Go数据集的特点在于其多样性和实用性。数据集涵盖了广泛的日常物品和抓握姿势，使得微手势识别在不同情境下均具有较高的泛化能力。通过使用主动声学传感技术，数据集不仅捕捉了手势的动态变化，还记录了物体几何形状和抓握姿势的详细信息。数据集的平均识别准确率达到92%，且对可变形物体的识别准确率也保持在92.9%，展示了其在复杂环境下的稳定性。此外，数据集还包含了用户佩戴舒适性和设备实用性的调查结果，为后续研究提供了全面的参考。

使用方法

Grab-n-Go数据集的使用方法主要包括数据预处理、模型训练和性能评估三个步骤。研究人员可以利用提供的声学信号数据，通过回声剖面分析技术提取特征，构建深度学习模型进行微手势识别。数据集支持两步训练方案，即先基于其他参与者的数据训练基础模型，再针对特定用户的数据进行微调，以提高个性化识别准确率。此外，数据集还支持穿戴会话独立性评估，确保设备在重新佩戴后仍能保持高性能。用户可以通过公开的数据集链接获取完整数据，并结合具体应用场景进行进一步的研究和开发。

背景与挑战

背景概述

Grab-n-Go数据集由康奈尔大学的研究团队于2025年提出，旨在解决手持物体时的微手势识别问题。该数据集通过腕戴式设备利用主动声学传感技术，捕捉手持不同物体时的微手势、抓握姿势和物体几何信息。数据集包含18名参与者对35种日常物体执行的30种微手势，共计20,160个微手势实例。Grab-n-Go的创新性在于其能够在不修改现有物体的前提下，实现高精度的微手势识别，为人机交互领域提供了新的研究方向。

当前挑战

Grab-n-Go数据集面临的主要挑战包括：1) 领域问题挑战：手持物体的多样性和抓握姿势的变化导致微手势识别难度增加，特别是在物体遮挡传感器视野时；2) 构建过程挑战：数据采集过程中需要处理不同物体形状、材料和大小带来的信号变化，以及确保设备在不同佩戴条件下的稳定性。此外，数据集还需解决变形物体带来的额外复杂性，如物体形状在操作过程中的持续变化。

常用场景

经典使用场景

Grab-n-Go数据集在微手势识别领域具有广泛的应用场景，特别是在手持物体时的微手势识别。该数据集通过主动声学传感技术，捕捉手腕佩戴设备发出的声波反射信号，从而识别30种不同的微手势。这些手势涵盖了5种不同的抓握姿势，适用于35种日常物品。数据集的使用场景包括但不限于智能家居控制、移动支付、虚拟现实交互等，为用户提供了一种无需放下手中物品即可进行交互的便捷方式。

解决学术问题

Grab-n-Go数据集解决了手持物体时微手势识别的关键学术问题。传统的手势识别系统通常专注于自由手势或基本的手-物体活动识别，而Grab-n-Go通过同时捕捉手部微手势、抓握姿势和物体几何信息，实现了对复杂手部动作的识别。该数据集通过深度学习框架处理这些复杂信号，平均识别准确率达到92.0%，显著提升了微手势识别的精度和鲁棒性。

衍生相关工作

Grab-n-Go数据集衍生了一系列相关研究工作，特别是在可穿戴设备和微手势识别领域。例如，EchoWrist系统利用主动声学传感技术追踪自由手部姿势和基本的手-物体互动。此外，VibAware和SparseIMU等研究也探索了不同传感技术在微手势识别中的应用。Grab-n-Go通过整合抓握姿势和物体几何信息，进一步扩展了这些工作的应用范围，为未来可穿戴设备的设计提供了新的思路。