hanging-tshirt

这是一个使用LeRobot创建的数据集，包含机器人操作的相关数据。数据集共有105个剧集，81435帧，分为5个任务。每个剧集包含多个数据块，每个数据块包含1000个数据文件，数据文件大小为100MB，视频文件大小为500MB。数据集的特征包括机器人的状态、动作、图像和奖励等信息。数据集的许可为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 数据集名称: hanging-tshirt
• 任务类别: 机器人学
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 5
• 总情节数: 105
• 总帧数: 81435
• 帧率: 30 FPS
• 数据分块大小: 1000
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB

数据结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 数据划分: 训练集包含所有105个情节

特征描述

观测状态

• 数据类型: float32
• 维度: 29
• 特征名称:
  • 左机械臂末端执行器位置(ee_x_l, ee_y_l, ee_z_l)
  • 左机械臂末端执行器四元数姿态(ee_qx_l, ee_qy_l, ee_qz_l, ee_qw_l)
  • 左机械臂力传感器数据(force_x_l, force_y_l, force_z_l)
  • 左机械臂扭矩传感器数据(torque_x_l, torque_y_l, torque_z_l)
  • 左机械臂夹爪状态(gripper_l)
  • 右机械臂对应特征(命名规则相同)
  • 阶段标识(stage)

动作空间

• 数据类型: float32
• 维度: 29
• 特征名称: 与观测状态特征名称完全一致

图像观测

包含四个视角的RGB视频数据：

• 前视角(observation.images.front)
• 顶视角(observation.images.top)
• 左腕部视角(observation.images.wrist_l)
• 右腕部视角(observation.images.wrist_r)

视频规格:

• 分辨率: 640×480
• 通道数: 3
• 编码格式: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 无音频

其他特征

• 奖励信号(next.reward): float32, 维度1
• 终止标志(next.done): bool, 维度1
• 时间戳(timestamp): float32, 维度1
• 帧索引(frame_index): int64, 维度1
• 情节索引(episode_index): int64, 维度1
• 数据索引(index): int64, 维度1
• 任务索引(task_index): int64, 维度1

技术信息

• 代码库版本: v3.0
• 机器人类型: 未指定

搜集汇总

数据集介绍

构建方式

在机器人操作任务研究领域，hanging-tshirt数据集通过LeRobot平台系统性地采集了悬挂T恤操作的全流程数据。该数据集包含105个完整任务片段，总计81435帧时序数据，采用分块存储架构将数据划分为1000帧容量的数据块。数据采集过程中同步记录了双机械臂的29维状态观测值（包括末端位姿、力扭矩传感器读数及夹爪状态）与对应动作指令，并以30Hz频率通过多视角视觉传感器（前视、顶视及双腕部相机）捕捉480×640分辨率的操作场景视频流。

特点

该数据集最显著的特征在于其多维异构数据的深度融合架构。观测空间同时包含29维连续状态向量与四路同步视频流，动作空间采用与观测状态完全对称的29维控制指令体系。数据组织采用分块索引机制，通过episode_index与frame_index实现精确时序定位，并配备reward信号和done标志位强化学习训练需求。所有视觉数据均采用AV1编解码技术存储，在保证画面质量的同时显著降低存储开销，整体数据结构呈现出高度规范化的机器人操作数据集特征。

使用方法

研究人员可通过解析parquet格式的数据文件获取结构化观测与动作序列，配合MP4格式的视频文件实现多模态数据对齐。数据集已预划分为训练集（0-105全序列），使用者可依据frame_index重建完整任务轨迹，或通过episode_index提取独立任务片段。在具体应用中，可分别调用observation.state获取机器人状态信息，结合observation.images下的多视角视频流进行行为克隆训练，利用action字段作为监督信号，并通过next.reward和next.done构建强化学习环境。数据加载时需注意时序一致性，建议按照chunk索引顺序读取以确保数据连续性。

背景与挑战

背景概述

在机器人操作任务研究领域，hanging-tshirt数据集作为LeRobot项目的重要组成部分，聚焦于双机械臂协同操作场景下的衣物悬挂任务。该数据集通过记录机械臂末端执行器的空间位姿、力扭矩数据以及多视角视觉信息，构建了包含105个完整交互序列的大规模演示数据。其核心价值在于为机器人模仿学习与策略泛化研究提供了真实环境下的动态操作样本，填补了柔性物体操作任务中结构化数据资源的空白。

当前挑战

该数据集需应对柔性物体形变建模与动态交互控制的根本性难题，具体体现为双机械臂协同操作中的力位混合控制稳定性问题。构建过程中面临多模态数据同步采集的技术瓶颈，包括29维状态动作空间与四路高清视频流的时间对齐精度要求，以及高维度连续动作空间下演示数据覆盖率的保障挑战。此外，真实环境中衣物材质变异与悬挂姿态多样性亦对数据集的泛化能力提出更高要求。

常用场景

经典使用场景

在机器人操作学习领域，hanging-tshirt数据集通过记录双机械臂悬挂T恤的完整动作序列，为模仿学习算法提供了丰富的训练样本。该数据集包含多视角视觉观测与29维状态动作空间，能够有效模拟柔性物体操作中的动态形变问题，成为研究双臂协同控制策略的基准测试平台。

实际应用

在工业自动化场景中，该数据集可直接应用于服装制造业的自动化挂衣系统。通过学习数据集中双臂协调操作的模式，机器人能够实现柔性纺织品的精准抓取与悬挂，大幅提升物流分拣、智能仓储等场景的作业效率与可靠性。

衍生相关工作

基于该数据集衍生的研究主要集中在多模态感知融合与强化学习领域。相关成果包括基于视觉-力觉融合的抓取策略生成、跨视角动作模仿网络架构等，这些工作显著推动了机器人操作技能从刚性物体向非结构化环境的拓展。