sparsh-skin-dataset

Sparsh-skin数据集包含了大约4小时的与不同类型家庭物品接触的数据，这些数据通过使用Meta Quest 3进行VR远程操作收集得到。数据集中有14种不同的物品，每个物品包含10个序列，每个序列大约2分钟长。每个物品的交互方式多样，包括滑动、轻敲、手部物体重新定向等。数据集提供了用于自监督学习（SSL）训练的序列，以提取的`pickle`格式提供。每个序列包含 allegro关节状态信息、用于训练的原始数据以及力信息。

原始信息汇总

Sparsh-skin 数据集概述

数据集简介

Sparsh-skin 数据集包含约 4 小时的接触数据，通过使用 Meta Quest 3 进行 VR 遥操作收集，涉及不同类型的家用物体。

数据内容

• 物体种类：14 种不同物体
• 序列数量：每种物体包含 10 个序列
• 序列时长：每个序列约 2 分钟
• 交互类型：包括滑动、敲击、手中物体重新定向等多样化交互

数据格式

数据集以提取的 pickle 格式提供，用于自监督学习（SSL）训练。每个序列的结构如下：

. ├── ball │ ├── 0 │ │ ├── allegro # 包含带有 allegro 关节状态信息的 data.pkl │ │ └── xela # 包含 data.pkl 和 forces.pkl；data.pkl 包含用于训练的原始数据，forces.pkl 包含力信息 │ ├── 1 | |.... | |-- baseline │ ├── allegro │ ├── realsense │ │ └── color │ └── xela |-- urdf

数据用途

该数据集专门用于自监督学习训练。

搜集汇总

数据集介绍

构建方式

在触觉传感技术领域，Sparsh-skin数据集通过虚拟现实遥操作技术系统构建。利用Meta Quest 3设备，研究人员采集了约4小时与14类家居物体的接触数据，每类物体包含10段时长约2分钟的交互序列。数据收集过程涵盖了滑动、轻敲、手持重定向等多种接触模式，并通过精密传感器同步记录 Allegro 关节状态与Xela触觉数据，最终以结构化pickle格式保存原始数据与力学参数。

特点

该数据集的核心特征体现在其多模态数据架构与精细化标注体系。不仅包含高频率采样的触觉传感器原始电压数据，还同步提供机械手关节状态信息及三维视觉数据。所有交互序列均按物体类别分层存储，确保数据检索的逻辑性与完整性。特别值得注意的是，Xela传感器数据进一步区分为训练用原始数据和精细化处理的力学参数文件，为触觉表征学习提供了双重验证维度。

使用方法

研究者可通过加载pickle文件直接访问多模态时间序列数据，其中allegro目录包含机械手运动学参数，xela目录则提供触觉原始数据与衍生力学指标。建议采用滑动窗口技术处理连续触觉序列，并结合关节状态数据构建触觉-运动联合模型。数据集已预先划分训练与验证序列，支持自监督学习框架下的触觉表征提取与跨模态对齐任务。

背景与挑战

背景概述

触觉感知作为机器人领域的关键技术，其发展依赖于高质量数据集的构建。Sparsh-skin数据集由Meta Quest 3 VR远程操作平台采集，收录了约4小时的家庭物品接触数据，涵盖14类常见物体。该数据集由机器人触觉研究团队于2023年创建，旨在解决动态触觉信号表征与物体识别中的模式泛化问题，为触觉感知算法提供多模态数据支持，推动机器人精细操作能力的发展。

当前挑战

该数据集主要应对触觉感知中动态接触信号的高维表征挑战，包括滑动、敲击等复杂交互的模式分离难题。构建过程中需克服多传感器同步采集的技术瓶颈，确保Xela触觉传感器与Allegro机械手状态数据的时空一致性。此外，家庭物品的材质多样性导致触觉信号存在显著差异，需通过精确的URDF模型标定和力信号校准来保证数据质量。

常用场景

经典使用场景

在触觉感知与机器人操作研究中，Sparsh-skin数据集通过虚拟现实遥操作收集了多种家居物体的接触数据，为触觉传感器表征学习提供了丰富样本。该数据集典型应用于触觉信号的自监督学习任务，研究者利用其滑动、轻击和物体重定向等交互序列，训练模型从高维触觉数据中提取有意义的特征表示，进而提升机器人的精细操作能力。

实际应用

在服务机器人领域，该数据集支撑了家居物体操作技能的开发，如灵巧抓取、物体识别和材质分类等实际应用。基于此类数据训练的模型可赋能机器人完成餐具整理、物品摆放等日常任务，其触觉感知能力还能应用于工业质检中的表面缺陷检测，拓展了触觉传感技术的应用边界。

衍生相关工作

该数据集催生了多项触觉表征学习的创新研究，例如基于对比学习的触觉特征提取框架、触觉-视觉跨模态对齐模型等。这些工作通过利用数据集中丰富的交互序列，开发了新型的神经网络架构和预训练策略，显著提升了触觉信号处理的性能，并为后续的触觉大模型研究奠定了基础。