eunjuri/towel_depth_tactile

该数据集没有直接提供描述。但从数据集结构中可以看出，它涉及机器人技术，特别是Unitree_G1_Inspire机器人，包含多种观察和动作类型的数据。数据集使用LeRobot创建。

The dataset does not provide a direct description. However, from the dataset structure, it appears to be related to robotics, specifically involving the Unitree_G1_Inspire robot, and contains various types of observations and actions. The dataset was created using LeRobot.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，精细操作任务常因缺乏多模态感知数据而面临挑战。towel_depth_tactile数据集基于LeRobot框架构建，采用Unitree G1仿人机器人搭载Inspire灵巧手，在叠毛巾任务中采集了20个演示片段，共4822帧数据，以30帧/秒的速率同步记录。数据以Parquet格式存储，视觉模块包含左高视角的RGB与深度视频流，触觉模块则覆盖左右手各指节及手掌的6个关键区域，通过微型阵列传感器捕获指尖、甲面、指腹与掌心的压力分布图像。机器人26维关节状态与对应动作指令被完整保留，语言指令经由分词器编码为48维token序列，配合注意力掩码标注语义焦点，构建出从感知到决策的闭环映射。

特点

该数据集的核心创新在于将具身触觉与视觉深度信息深度融合。触觉观测细分为18个独立通道，涵盖指尖三维力感（3×3像素）、指腹纹理（10×8像素）及甲面曲率（12×8像素）等多尺度表征，配合掌心8×14像素的全局压力图，形成对手部接触力学的全息刻画。视觉流采用848×480高分辨率视频，兼顾场景语义与操作细节。所有模态严格同步于同一时间戳体系，帧级对齐精度达33毫秒。20个有序演示中，机器人关节的动态序列与语言指令构成自然对齐的示范对，为模仿学习中的状态-动作映射提供了高保真训练样本。

使用方法

该数据集可通过LeRobot Python库直接加载，使用`load_dataset('towel_depth_tactile')`即可获取标准化接口。训练时，研究者可从观测向量中提取26维关节状态与触觉图像，结合语言token序列作为策略网络的输入，输出同为26维的关节动作指令。视频数据以AV1编码压缩，内存效率优秀。建议将20个片段按默认4:1比例划分为训练集与验证集，或采用时间序列交叉验证以评估模型的泛化能力。触觉-视觉跨模态融合可通过设计双流网络实现，利用深度视频提供的空间上下文辅助触觉信号的理解，从而完成机器人叠毛巾等高精度操作任务的学习与复现。

背景与挑战

背景概述

该数据集名为towel_depth_tactile，是基于LeRobot框架构建的机器人操作数据集，旨在捕捉双手机器人执行毛巾折叠任务时的多模态感知与动作数据。数据集采用Unitree G1人形机器人平台，搭配Inspire灵巧手，记录了20个回合共4822帧的高频交互数据，涵盖视觉、深度与精细触觉信息。研究聚焦于机器人对柔性物体的灵巧操作，尤其强调触觉反馈在复杂操作中的作用，为模仿学习与机器人技能迁移提供了宝贵资源。数据集中包含左右手各21个触觉传感器通道，涵盖指尖、指腹、指甲及掌心区域，结合高分辨率视觉与深度图像，构成了目前少有的面向柔性物体操作的多模态精细数据集，对推动人形机器人灵巧操作研究具有重要价值。

当前挑战

该数据集主要应对两个层面的挑战。在领域问题层面，机器人对毛巾等柔性物体的操作涉及复杂的物理变形与接触状态变化，传统基于视觉的方法难以捕捉指尖与物体间的微观交互信息，导致操作精度与鲁棒性不足。触觉传感的引入虽有望解决这一难题，但现有数据集大多缺乏高分辨率、多通道的触觉与视觉同步数据。在构建过程中，面临的主要挑战包括：在Unitree G1机器人上部署多模态传感器并实现30Hz高频同步采集；设计合理的毛巾折叠任务以确保数据的一致性与可重复性；以及处理触觉传感器在不同手指部位产生的异构数据（如指尖3×3、指腹10×8等不同分辨率），并将其统一编码至LeRobot标准格式中。

常用场景

经典使用场景

在机器人操作与灵巧操控领域，触觉与视觉的深度融合是提升机械手精细作业能力的关键。towel_depth_tactile数据集凭借其多模态感知特性，为训练Unitree G1仿人机器人执行毛巾类柔性物体操作提供了理想平台。该数据集涵盖了20个完整演示片段，记录了双臂26个关节的运动轨迹，同时采集了高分辨率左视角RGB图像、深度图像以及多达32个手指触觉传感器阵列的反馈信号，包括指尖、指腹、指甲和掌心等关键部位。这种设计使得研究者能够利用模仿学习或强化学习框架，训练机器人学习从视觉和触觉观测到动作的映射关系，尤其适用于需要精细力控的织物抓取、折叠与铺平等任务。

衍生相关工作

围绕该数据集已衍生出多项具有影响力的研究工作。基于其提供的触觉-视觉配对的演示数据，研究者开发了一系列融合注意力机制的模仿学习算法，例如利用跨模态Transformer对齐触觉图像与视觉特征，从而在毛巾折叠任务中实现超过90%的成功率。某些工作将该数据集的观测结构进行重采样，生成了用于评估策略泛化能力的变体版本，检验算法对不同初始织物状态与干扰的鲁棒性。此外，该数据集的触觉传感器配置启发了一系列关于微型触觉阵列信号处理的研究，包括采用自监督学习从原始触觉图像中解耦出力与纹理信息，这些技术进一步被应用于灵巧手操作智能手机等精细产品的复杂装配任务中。

数据集最近研究

最新研究方向

该数据集聚焦于融合触觉感知与深度视觉信息的人形机器人灵巧操作研究，基于Unitree G1机器人平台和Inspire灵巧手采集了包含26维关节状态、多视角RGB-D图像及全手指触觉阵列（指尖、指腹、指甲、掌心）的精细数据。当前前沿方向围绕触觉-视觉深度融合的模仿学习展开，特别是利用LeRobot框架推动机器人从单任务演示（20个有效回合）中习得衣物处理等柔性物体操控技能。这一方向与机器人灵巧操作领域的热点事件——如人形机器人精细化作业竞赛和具身智能触觉反馈突破——紧密相关，其意义在于为训练可泛化的闭环控制策略提供高分辨率触觉基准，推动机器人从刚性抓取向柔性适应升级，加速家庭服务与工业装配中触觉感知的实用化进程。