TrossenRoboticsCommunity/mobile-baseoff-tshirt-folding-lerobot-V3

该数据集是一个机器人控制数据集，使用LeRobot工具创建。它包含双WidowX AI跟随机器人（bi_widowxai_follower_robot）的数据，总共有101个episodes、155,841帧和2个任务。数据以parquet格式存储，视频文件以MP4格式存储，帧率为30fps。数据集特征包括14维的动作和状态观测（对应左右机械臂的关节位置），以及来自三个摄像头的视频观测：cam_high（高位摄像头）、cam_left_wrist（左腕摄像头）和cam_right_wrist（右腕摄像头），每个视频分辨率为480x640像素，3通道RGB格式。此外，还包含时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习、模仿学习或强化学习任务。This dataset is a robotics control dataset created using the LeRobot tool. It contains data from a bi-widowxai-follower robot, with a total of 101 episodes, 155,841 frames, and 2 tasks. The data is stored in parquet format, and video files are in MP4 format with a frame rate of 30fps. The dataset features include 14-dimensional actions and state observations (corresponding to joint positions of the left and right robotic arms), as well as video observations from three cameras: cam_high (high camera), cam_left_wrist (left wrist camera), and cam_right_wrist (right wrist camera), each with a resolution of 480x640 pixels and 3-channel RGB format. Additionally, it includes metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的数据集是驱动智能体掌握复杂操作技能的核心基石。该数据集由LeRobot框架构建，聚焦于双机械臂协同完成T恤折叠这一精细任务。数据采集利用Bi-WidowXAI机器人平台，通过遥控操作收集了101个完整演示回合，共计155,841帧时序数据。每个回合记录了14维关节动作指令与对应的机器人状态观测，并同步采集了来自高视角摄像头及左右腕部摄像头的三路640×480像素高清视频流。数据以分块形式存储于Parquet文件中，视频则采用AV1编码压缩为MP4格式，整体数据与视频文件大小分别约为100MB和500MB。

特点

该数据集显著特点在于其多模态、高保真的数据构成。它不仅包含精确的14维关节空间动作序列与状态信息，还整合了三个视角的全高清视频观测，为模仿学习提供了丰富的视觉与运动线索。数据集覆盖两项子任务，支持对多任务泛化能力的探索。所有数据以30FPS的恒定帧率采集，保证了时序一致性。此外，数据集遵循Apache-2.0许可协议开放，便于学术研究与工业应用复现。其结构化元数据信息详尽，包括帧索引、时间戳、回合索引等字段，为数据加载与预处理提供了极大便利。

使用方法

该数据集专为LeRobot生态设计，可无缝集成至基于该框架的机器人学习流程中。用户可通过LeRobot库的API直接加载，依据配置将101个回合数据全部划分为训练集。对于利用动作与状态特征构建行为克隆或强化学习算法，推荐使用'action'和'observation.state'的多维数组；对于视觉-运动策略的研发，则可调用'observation.images'下的三路视频流。数据已按chunk分块存储，支持高效流式读取。研究者亦可自由扩展，对视频或动作进行子采样以适应特定网络架构的输入需求。

背景与挑战

背景概述

在机器人操作领域，从示范中学习（Learning from Demonstration, LfD）已成为赋予机器人灵巧操作能力的关键范式。该数据集创建于2024年，由Hugging Face LeRobot社区主导开发，聚焦于双机械臂协同折叠T恤这一复杂柔性物体操作任务。研究核心在于解决非结构化场景下的细粒度操控问题，通过采集101个示范回合、15.5万帧时序数据，涵盖14维关节动作空间与三视角视觉观察（顶部及左右腕部摄像头），为模仿学习提供高质量训练样本。作为开源机器人学习生态的重要组件，该数据集填补了柔性物体操作领域缺乏标准化基准的空白，推动双臂协同与视觉运动策略的研究进展，其Apache-2.0许可协议更降低了学术与工业界的研究门槛。

当前挑战

领域层面，柔性物体操作因其高自由度形变与局部观测的不完整性，长期构成机器人操作的核心挑战。不同于刚性物体抓取，T恤的折叠需精准协调双臂14个关节的连续控制，并应对布料因重力与摩擦产生的非线性动态，这对传统规划算法与端到端学习策略均提出严峻考验。构建过程中，数据采集面临多模态对齐难题——三路摄像头（640×480像素、30帧/秒）与关节编码器需实现亚毫秒级同步，同时通过1000帧分块存储策略平衡大容量视频（500MB）与高频轨迹数据（100MB）的I/O效率。此外，统一双向灵巧手（bi_widowxai_follower_robot）的异构传感器读数，并确保101个示范在动作、状态、视觉特征空间上的分布一致性，构成数据质量保障的额外技术屏障。

常用场景

经典使用场景

在机器人学习领域，mobile-baseoff-tshirt-folding-lerobot-V3数据集为双臂协作折叠T恤这一精细操作任务提供了标准化的训练与评估基准。该数据集包含101个完整演示片段，共计约15.6万帧，记录了双机械臂在移动基座上协同完成折叠动作的完整序列，涵盖高分辨率视觉观测、14维关节空间状态及对应动作指令。研究者常将其用于训练模仿学习模型，通过行为克隆或逆强化学习范式，使机器人掌握从感知到动作的端到端映射关系。

实际应用

在实际应用层面，该数据集所承载的技术路线有望率先落地于智能家居场景，如自动洗衣后的衣物整理与折叠系统。基于该数据训练的策略可直接部署于配备双机械臂的移动服务机器人，实现从洗衣、烘干到折叠收纳的无人化闭环。此外，该方法亦可迁移至服装制造业的自动化流水线，替代人工完成服装品检后的标准化折叠工序，有效提升生产效率并降低人力成本。

衍生相关工作

围绕该数据集，研究者已展开系列衍生工作，包括基于扩散策略的柔性物体操作框架，通过在动作空间引入概率生成模型提升折叠动作的多样性；以及结合视觉语言模型的上下文推理方法，使机器人能根据衣物类型（如T恤、衬衫、毛巾）自适应调整折叠策略。同时，该数据集也启发了关于长期任务分解的研究，将完整折叠过程拆解为多阶段子技能，如平铺、对折、压实，并通过分层强化学习实现复杂序列任务的组合泛化。