takeoff-tshirt

这是一个用于机器人领域的 datasets，包含107个 episodes，共计77063帧数据，分为3个任务。数据集以 Apache-2.0 许可证发布。数据集包括多种类型的观测数据，如机械臂末端的位置、姿态、力量、扭矩等，以及对应的动作数据。此外，还包含了正面、顶部、左腕和右腕的图像数据。每个数据块的大小为1000帧，总数据文件大小为100MB，视频文件大小为500MB。

原始信息汇总

数据集概述

基本信息

• 数据集名称: takeoff-tshirt
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 3
• 总回合数: 107
• 总帧数: 77063
• 数据文件大小: 100 MB
• 视频文件大小: 500 MB
• 帧率: 30 FPS
• 分块大小: 1000
• 数据分割: 训练集包含全部107个回合

数据结构

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征字段

观测状态 (observation.state)

• 数据类型: float32
• 维度: 29
• 特征名称:
  • 左臂末端执行器位置 (ee_x_l, ee_y_l, ee_z_l)
  • 左臂末端执行器四元数姿态 (ee_qx_l, ee_qy_l, ee_qz_l, ee_qw_l)
  • 左臂力传感器数据 (force_x_l, force_y_l, force_z_l)
  • 左臂扭矩传感器数据 (torque_x_l, torque_y_l, torque_z_l)
  • 左臂夹爪状态 (gripper_l)
  • 右臂对应传感器数据 (ee_x_r 至 gripper_r)
  • 阶段标识 (stage)

动作 (action)

• 数据类型: float32
• 维度: 29
• 特征名称: 与观测状态相同

图像观测

• 前视摄像头 (observation.images.front)
• 顶部摄像头 (observation.images.top)
• 左腕摄像头 (observation.images.wrist_l)
• 右腕摄像头 (observation.images.wrist_r)

图像规格:

• 格式: 视频
• 分辨率: 640×480
• 通道数: 3
• 编码: AV1
• 像素格式: yuv420p
• 帧率: 30 FPS
• 无音频

其他字段

• 奖励信号 (next.reward): float32, 维度1
• 完成标志 (next.done): bool, 维度1
• 时间戳 (timestamp): float32, 维度1
• 帧索引 (frame_index): int64, 维度1
• 回合索引 (episode_index): int64, 维度1
• 索引 (index): int64, 维度1
• 任务索引 (task_index): int64, 维度1

技术信息

• 代码库版本: v3.0
• 机器人类型: 未指定
• 数据格式: Parquet
• 视频编码: AV1

搜集汇总

数据集介绍

构建方式

在机器人技术领域，数据集的构建方式直接影响其科研价值。takeoff-tshirt数据集通过LeRobot平台系统采集，包含107个完整任务片段，总计77063帧数据。采用分块存储策略，每1000帧数据封装为独立单元，以Parquet格式高效保存观测状态与动作指令。多视角视觉数据通过四路高清摄像头同步记录，配合29维状态向量构建时空对齐的多模态数据流。

使用方法

研究人员可通过标准数据加载接口访问该数据集，利用帧索引与片段索引实现精确数据定位。观测状态张量与动作空间均以float32格式存储，支持直接输入神经网络模型。视频流采用AV1编码压缩，配合元数据中的时空标记可实现行为克隆算法的端到端训练。奖励信号与终止标志为策略评估提供关键监督信号。

背景与挑战

背景概述

在机器人操作任务研究领域，takeoff-tshirt数据集作为LeRobot项目的重要组成部分，聚焦于双机械臂协同操作的复杂场景。该数据集通过多视角视觉感知与高维状态动作空间记录，构建了包含107个完整交互序列的机器人操作轨迹库。其核心研究目标在于解决动态环境下衣物折叠类任务的自主执行难题，通过融合末端执行器位姿、力扭矩传感与多角度视觉反馈，为机器人模仿学习与策略泛化提供关键数据支撑。

当前挑战

该数据集需应对机器人操作中动态非刚性物体建模的固有挑战，包括衣物形变预测、多模态传感对齐与双臂协同控制等核心难题。构建过程中面临多路高清视频流同步存储、高维连续动作空间采样效率、以及真实物理交互中的传感器噪声抑制等技术瓶颈，同时需确保不同任务场景间数据分布的一致性与可迁移性。

常用场景

经典使用场景

在机器人操作学习领域，takeoff-tshirt数据集通过记录双机械臂执行T恤折叠任务的完整交互过程，为模仿学习与强化学习算法提供了丰富的训练样本。其多视角视觉观测与高维状态动作空间的设计，使得研究者能够构建端到端的控制策略模型，模拟复杂布料操作中的动态形变与抓取规划问题。

解决学术问题

该数据集有效解决了柔性物体操作中因形变不确定性导致的建模困难，为研究非刚性物体动力学提供了结构化数据支撑。通过融合力觉反馈与多模态感知，它推动了机器人操作策略在部分可观测环境下的泛化能力研究，填补了传统刚性物体数据集在柔性交互任务上的空白。

实际应用

在工业自动化与家庭服务机器人场景中，该数据集支持开发智能衣物处理系统，例如仓储物流中的服装分拣与家庭环境中的自主折叠机器人。其真实力控数据可用于优化抓取力度控制策略，避免布料损伤，提升服务机器人在非结构化环境中的操作可靠性。

数据集最近研究

最新研究方向

在机器人操作学习领域，takeoff-tshirt数据集凭借其多模态感知与双机械臂协同控制特性，正成为具身智能研究的重要载体。前沿研究聚焦于从视觉观测到动作策略的端到端模仿学习，通过融合前视、顶视及腕部摄像头的高维视频流与29维状态动作空间，探索复杂布料操作任务中的时空表征建模。该数据集与LeRobot生态系统的深度集成，推动了机器人操作技能迁移范式的革新，尤其在动态非刚性物体操控这一长期挑战中，为多传感器融合与强化学习算法提供了标准化验证平台，显著加速了家庭服务机器人实用化进程。