eunjuri/T_shirt_depth_tactile

该数据集未提供明确的中文描述。但从元数据中可以推断，该数据集与机器人技术相关，特别是涉及Unitree_G1_Inspire机器人。包含20个片段、6200帧和40个视频，数据以parquet文件格式存储，视频以mp4格式存储。数据集包括与机器人状态、语言标记、图像、深度和触觉传感器相关的各种观察和动作。

The dataset does not provide an explicit description. However, metadata indicates it is related to robotics, specifically involving the Unitree_G1_Inspire robot. It contains 20 episodes, 6200 frames, and 40 videos, with data structured in parquet files and videos in mp4 format. The dataset includes various observations and actions related to the robots state, language tokens, images, depths, and tactile sensors.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，精细操作任务的成功往往依赖于多模态感知信息的融合。T_shirt_depth_tactile数据集基于LeRobot框架构建，旨在为机器人衣服操作研究提供深度与触觉协同的感知数据。该数据集利用Unitree_G1_Inspire机器人平台，以30帧每秒的采样率，录制了20个演示片段，总计6200帧数据。数据采集过程中，机器人通过左右高角摄像头捕获视觉深度图像，同时双手各五根手指（拇指、食指、中指、无名指、小指）的指尖、指甲和指腹，以及手掌区域的触觉传感器，同步记录触觉图像，形成了多分辨率、多部位的精细触觉感知数据。所有数据被组织成单一训练集，并以Parquet与MP4格式存储，便于高效读取。

特点

该数据集的核心特点在于其多模态与高细粒度的感知信息整合。视觉方面，包含左右高角摄像头拍摄的彩色深度视频，分辨率为848×480像素，提供了丰富的环境与物体表面形貌信息。触觉方面，则涵盖了每根手指的指尖（3×3像素）、指甲（12×8像素）、指腹（10×8像素）、拇指中部（3×3像素）以及手掌（8×14像素）等多个区域的触觉图像，左右手共计超过40个触觉传感器通道，细腻捕捉了抓取与操作过程中的压力与接触纹理。此外，数据集还包含了26维的机器人关节状态与动作数据，以及语言指令的编码标记，实现了视觉、触觉与运动指令的时空对齐，为模仿学习和多模态决策提供了完整的数据支撑。

使用方法

该数据集的使用需借助LeRobot库及其配套的HuggingFace工具链。用户可通过LeRobot的数据加载API，指定数据集名称和配置，自动下载并解析Parquet和MP4文件，获得结构化的数据字典。训练过程中，研究者可根据需要选取特定的感知模态，例如单独提取左右高角摄像头图像序列作为视觉输入，或联合各手指的触觉图像构建触觉特征张量，同时结合26维的关节状态与动作数据，用于训练机器人模仿学习模型。数据集的单任务、小批量结构适合在GPU加速环境下进行快速原型验证，且Apache-2.0许可协议允许自由的学术与商业使用。

背景与挑战

背景概述

T_shirt_depth_tactile数据集由Hugging Face社区基于LeRobot框架创建，专注于机器人操作领域中的精细衣物操控任务。该数据集采用Unitree G1人形机器人搭载Inspire灵巧手作为数据采集平台，系统性地记录了单任务场景下的多模态感知数据。数据集规模包含20个示范片段、6200帧时间序列及4万帧视频流，其核心研究问题在于整合视觉深度信息与高分辨率触觉反馈，以推动机器人对柔性物体（如T恤）的精确操作能力。在模仿学习与强化学习范式下，该数据集为多模态感知融合、灵巧操作策略迁移提供了标准化基准，对家庭服务机器人及纺织自动化领域具有重要推动作用。

当前挑战

当前领域面临的核心挑战在于柔性物体的高自由度形变与复杂接触动力学建模，使得基于刚性物体假设的传统控制方法难以直接适用。T恤的褶皱、拉伸与悬垂状态导致视觉遮挡和触觉信号非线性变化，亟需数据驱动方法突破物理仿真与真实环境间的现实鸿沟。数据集构建过程中，高灵巧度Inspire手部的27个触觉传感器阵列需与30帧/秒的双目视觉深度摄像头严格同步，多模态异构数据的时空对齐与噪声消除构成关键瓶颈。此外，20个示范片段的小样本规模限制了模型对衣物几何多样性的泛化能力，高精度运动捕捉与多任务场景扩展的成本矛盾亟待平衡。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，T_shirt_depth_tactile数据集专为多模态感知驱动的精细操作任务而设计。该数据集记录了Unitree G1机器人搭载Inspire灵巧手执行T恤类软体衣物操作时的完整轨迹，包含6200帧、20个episode的同步数据。其经典用途在于训练视觉-触觉融合的模仿学习与强化学习模型，尤其针对柔软、易形变物体的操作策略学习。研究者可利用该数据集中的高分辨率RGB图像、深度图以及多指触觉传感器阵列（涵盖指尖、指腹、指甲和掌心等36个触觉通道）的时序信息，开发能够感知接触力分布与物体形变状态的决策算法。同时，26维关节角度与动作数据为精确的运动规划提供了基准，使模型在衣物折叠、抓取、展开等复杂操作中实现从感知到动作的端到端映射。

实际应用

在实际应用层面，该数据集直接服务于家庭服务与工业柔性制造场景中的机器人操作能力提升。例如，在衣物整理与分拣任务中，机器人需区分不同材质、厚度的衬衫或T恤，并完成从杂乱堆叠中逐个抽取、展平、折叠或悬挂的系列动作。T_shirt_depth_tactile提供的多模态数据使部署在智能家居或洗衣工厂的机器人能够学习基于触觉预判的轻柔抓取策略，避免因用力不当造成的损伤。此外，在服装电商自动化包装线中，机械臂可据此数据集训练对易皱织物的无折痕折叠技能。其触觉图像的多样性还赋能了医疗康复机器人，使其在辅助患者穿衣时能通过指尖感知实时调整抓握力度，确保安全与舒适。这些应用无不彰显了该数据集在弥合实验室研究与现实操作鸿沟、加速技能迁移方面的实用价值。

衍生相关工作

T_shirt_depth_tactile数据集的发布催生了若干具有影响力的衍生研究。在基础方法论上，它启发了将视觉Transformer与触觉卷积网络结合的双流架构，用以对齐异构模态的时序特征，进而提升长程操作任务的成功率。数据的高帧率触觉记录还推动了针对高速滑动事件的强化学习奖励函数设计，例如在衣物脱落瞬间通过触觉信号触发重新抓取的闭环策略。部分工作借助该数据集验证了预训练视觉-触觉联合表征在下游多种软体操作任务中的迁移效果，证实了模型对触觉模态的强依赖性。这些衍生研究不仅在机器人学顶会（如ICRA、RSS、CoRL）上获得持续关注，还催化了更多面向布料、食物等复杂可变性物体的数据集构建，形成了良性发展的研究生态。