VR Gesture Dataset

Name: VR Gesture Dataset
Creator: 伊利诺伊大学厄巴纳-香槟分校; 凯斯西储大学
Published: 2026-07-13T23:23:45+08:00

arXiv2026-07-13 更新2026-07-15 收录

社交触觉感知

机器人触觉皮肤设计

数据链接：

https://github.com/dakaraisc/VR-gesture-dataset 数据链接链接失效反馈

官方服务：

资源简介：

VR手势数据集是由伊利诺伊大学厄巴纳-香槟分校与凯斯西储大学联合创建的开源数据集，旨在为社交物理人机交互提供高分辨率触觉感知基准。该数据集包含5520次试验，涵盖18名参与者在人形机器人手臂和躯干上执行的8种社交触摸手势，通过虚拟现实平台采集了不受硬件约束的接触几何数据。数据采集过程采用基于Unity的虚拟环境，结合定制触觉手套和Meta Quest 3头显，实现了接触碰撞的离线重构与可配置的触觉编码模拟。该数据集主要应用于机器人触觉皮肤设计领域，通过定量分析接触分布与空间分辨率，为解决社交触摸识别中的传感器布局与密度优化问题提供数据驱动的方法论基础。

The VR gesture dataset is an open-source resource jointly created by the University of Illinois Urbana-Champaign and Case Western Reserve University, designed to offer a high-resolution tactile perception benchmark for social physical human-robot interaction. This dataset includes 5520 trials, encompassing 8 categories of social touch gestures performed by 18 participants on a humanoid robot's arm and torso, with hardware-unconstrained contact geometry data collected via a virtual reality platform. The data collection workflow utilizes a Unity-based virtual environment, integrated with a custom tactile glove and Meta Quest 3 headset, to enable offline reconstruction of contact collisions and configurable tactile encoding simulations. This dataset is primarily applied in the domain of robotic tactile skin design, providing a data-driven methodological foundation for addressing sensor layout and density optimization challenges in social touch recognition through quantitative analysis of contact distribution and spatial resolution.

提供机构：

伊利诺伊大学厄巴纳-香槟分校; 凯斯西储大学

创建时间：

2026-07-13

原始信息汇总

数据集概述

VR Gesture Dataset 是一个用于虚拟人机交互中全身社交触觉感知研究的数据集，由18名参与者在VR环境中对机器人执行8种社交触摸手势。数据集包含5,520个手势试验，总计738,974帧数据。

参与者与手势：18名参与者每人执行8种社交触摸手势（hit, pat, poke, push, rub, stroke, tap, grab），每种手势在机器人的手臂和躯干上各重复20次，无时间限制。但参与者01和02缺少grab手势，因此各有140次试验（手臂和躯干各140次），其余参与者每人160次试验。
数据规模：共5,520个手势试验（手臂2,840个，躯干2,680个），总计738,974帧。每个参与者手臂和躯干各有160次试验（除01和02外）。

数据收集信息

平台：基于Unity的自定义VR环境。参与者佩戴Meta Quest 3头显（通过OpenXR进行无标记手部追踪，约30 Hz）和定制触觉手套（接触时提供振动触觉反馈，每只手套6个执行器：每个手指一个加手掌一个）。
机器人：Pollen Robotics的Reachy（2021年款）。躯干和手臂表示为凸碰撞网格，手部表示为刚性胶囊碰撞体集合，允许穿透。
记录方式：每个渲染帧记录每只手部胶囊和机器人网格的完整6自由度位姿（位置+旋转），所有数据均以VR场景的世界坐标系表示。

数据格式

每个参与者的数据存储为一个Parquet文件（如participant_01.parquet），位于arm/或torso/子目录中。文件采用宽格式，每行对应一个（试验，帧）组合。

加载方式：使用pandas.read_parquet()即可加载。
列说明：
- trial_id：试验ID，格式如0001_stroke（连续试验索引+手势标签）。
- trial_ordinal：该参与者内基于1的试验索引，是可靠的分组键。
- gesture_label：手势标签，包括hit, pat, poke, push, rub, stroke, tap, grab。
- frame：原始帧号（记录会话内连续，不按试验重置）。
- frame_index_in_trial：试验内基于0的帧位置，可作为试验局部时间轴。
- {capsule}_pos_x/y/z：胶囊位置（米），相对于机器人网格局部坐标系。
- {capsule}_rot_x/y/z/w：胶囊旋转（四元数），相对于机器人网格局部坐标系。
手部胶囊：共有19个手部胶囊（wrist1..wrist4, thumb1..thumb3, index1..index3, middle1..middle3, ring1..ring3, pinky1..pinky3），每个胶囊有7个位姿列。每个胶囊的物理尺寸（高度、半径）及相对于跟踪关节的局部中心偏移量存储在assets/hand_capsule_definition.json中，用于重建胶囊几何体。
清单文件：每个参与者的*_manifest.json文件列出了每个试验的手势标签、帧数和帧范围，无需加载完整Parquet文件即可查看。

可视化工具

utils/visualize_trial.py是一个基于Open3D的自包含示例查看器，可回放单个试验：显示机器人网格（初始位姿）和19个移动的手部胶囊。

使用方法： bash python3 visualize_trial.py --body-region arm --participant participant_01 --trial 0001_stroke
--trial可接受trial_id（如0001_stroke）或trial_ordinal（如1）。
控制方式：空格键播放/暂停，左右箭头步进，R键重置视角，P键打印相机参数，Q/Esc键退出。

其他资源

躯干和手臂使用的凸包模型位于assets文件夹中。
工具和模型均位于数据集的utils/和assets/目录下。

搜集汇总

数据集介绍

构建方式

VR Gesture Dataset的构建遵循需求驱动的设计范式，颠覆了传统硬件优先的触觉传感系统开发流程。研究团队首先在虚拟现实环境中构建了一个具备触觉反馈的交互平台，采集用户与仿人机器人Reachy在五种社交场景下的自然接触行为，从中归纳出九种重复出现的社会性触觉手势。在此基础上，针对自然交互中手势分布不均衡的问题，研究团队招募了18名受试者，在可控条件下对八种代表性手势进行系统采集。每位受试者在机器人的手臂和躯干上分别重复每种手势20次，最终形成了包含5,520次有效试验的高质量数据集。数据采集过程中，系统同步记录6自由度手部关节姿态与机器人网格位姿，接触事件则在离线阶段通过球体-三角形碰撞检测算法精确重建，确保了数据独立于任何具体的触觉传感器配置。

使用方法

研究者可借助数据集内置的触觉仿真管线，将原始接触几何信息映射至可配置的柱面网格上，模拟不同密度的触觉传感器阵列输出。通过逐级降低虚拟传感器的空间分辨率并评估分类精度，团队已建立了一套量化方法来确定特定机器人平台上触觉皮肤密度的基线要求。数据集以标准格式开源发布，包含完整的6自由度运动轨迹与离线计算的接触映射结果，支持随机森林、卷积循环网络等多种分类模型的训练与验证。用户还可利用其硬件无关的特性，针对不同机器人形态或交互场景，定制化地推导传感覆盖区域与分辨率需求，从而在物理硬件制造之前即可完成触觉感知系统的优化设计。

背景与挑战

背景概述

在社交物理人机交互（spHRI）领域，触觉感知是实现自然社会性触摸的关键技术。然而，现有触觉传感系统多采用硬件驱动设计，传感器配置预先固定，导致覆盖范围、空间分辨率及可识别手势类型受到刚性限制。为了突破这一瓶颈，Dakarai Crowder、Ruohan Zhang、Alexis E. Block 与 Wenzhen Yuan 于2026年提出了基于需求驱动的设计框架，并依托VR交互平台构建了VR Gesture Dataset。该数据集通过五类日常社交场景，引导18名受试者与虚拟人形机器人（Reachy）进行自然交互，离线重构高分辨率全身接触分布，最终识别出九种常见社交触摸手势，并精选八种进行受控采集，形成了包含5,520次试验的平衡数据集。该数据集创新性地将触觉感知需求从硬件约束中解放出来，实现了传感要求与交互数据的直接绑定，为spHRI领域提供了首套可供定量分析触觉覆盖与分辨率的设计基线。

当前挑战

VR Gesture Dataset所应对的核心挑战在于：传统触觉传感设计受制于传感器固定配置，难以灵活推导出适配不同机器人形态与交互场景的传感需求。在数据构建过程中，研究者面临双重难题：其一，如何在不预设传感器参数的前提下，获取高保真的人-机器人接触信息，为此团队开发了基于Unity的VR平台，利用球体-三角形碰撞检测与离线接触重构技术，实现了独立于硬件的空间分辨率可调模拟；其二，自然交互中手势频次高度不均衡，若要量化分析所需传感精度，必须构建平衡数据集，因此团队进行了第二轮受控采集，结合触觉手套与离线UV映射，生成了标准化的手势试验样例。此外，如何在二进制接触编码下仅凭空间分布区分不同手势，也是触觉分辨率设计必须攻克的分类难题。

常用场景

经典使用场景

该数据集被广泛用于社会性物理人机交互（spHRI）中的触觉手势识别研究。研究者在虚拟现实环境中，通过高分辨率的手部与机器人网格碰撞检测，重建了无人为预设传感器约束的接触模式，进而系统性地评估不同空间分辨率下手势分类的效果。该数据集特别适用于探索触觉传感器应覆盖的身体区域以及所需的感知密度，为设计能够识别多种社交触摸行为（如拍打、揉搓、推挤、抓握等）的机器人触觉皮肤提供了重要基准。其经典用法集中于利用VR数据驱动触觉传感硬件的需求分析，而非传统硬件先行的方法。

解决学术问题

该数据集有效解决了传统触觉传感设计中硬件先行范式带来的核心问题，即传感器配置往往基于工程可行性而非真实交互需求，导致数据与特定传感器强耦合，难以泛化。通过提出需求驱动框架，该数据集以硬件无关的方式重构了人机接触信息，研究者得以量化分析识别社交触摸手势所需的最低空间分辨率（约每24厘米18个触觉单元）和关键传感覆盖区域（如上躯干、肩部与夹爪），从而揭示了触觉感知保真度与识别准确率之间的权衡关系。这一方法填补了从人类自然交互数据中推导触觉传感需求的学术空白。

实际应用

在实际应用层面，该数据集为服务型机器人的触觉感知系统设计提供了可直接参考的量化基线。例如，在医疗协助、养老服务、零售导览等场景中，机器人需要理解用户的肢体语言并做出恰当回应，如通过轻拍传递安抚意图，或借助推搡纠正运动路径。该数据集指导开发者优先在机器人上躯干、肩膀和夹爪区域部署触觉皮肤，并以约1.3平方厘米每单元的密度配置传感器，从而在控制硬件成本的同时保证八类常见社交手势的可靠辨别，推动触觉感知从实验室原型向真实部署场景的转化。

数据集最近研究