bimanual-so101-fold-tshirt

这是一个机器人动作数据集，包含机器人左右臂的动作位置、速度和负载信息，以及两个全局视角和两个手臂手腕处的视频数据。数据集总共包含5个 episodes，11454帧，分为1个任务，20个视频文件，数据以Parquet格式存储。

原始信息汇总

数据集概述

基本信息

• 名称: bimanual-so101-fold-tshirt
• 许可证: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot

数据集描述

• 创建工具: LeRobot
• 主页: [More Information Needed]
• 论文: [More Information Needed]

数据集结构

• 代码库版本: v2.1
• 机器人类型: so101_two_followers
• 总集数: 5
• 总帧数: 11454
• 总任务数: 1
• 总视频数: 20
• 总块数: 1
• 块大小: 1000
• 帧率 (fps): 30
• 数据分割:
  • 训练集: 0:5

数据路径

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征

• 动作 (action):
  • 数据类型: float32
  • 形状: [24]
  • 名称: 包括左右手臂的关节位置和速度信息
• 观察状态 (observation.state):
  • 数据类型: float32
  • 形状: [36]
  • 名称: 包括左右手臂的关节位置、速度和负载信息
• 观察图像 (observation.images):
  • 数据类型: video
  • 形状: [480, 640, 3]
  • 包含: global1, global2, right_arm.wrist, left_arm.wrist
  • 视频信息: 高度480，宽度640，帧率30，无音频
• 其他特征:
  • timestamp: float32, [1]
  • frame_index: int64, [1]
  • episode_index: int64, [1]
  • index: int64, [1]
  • task_index: int64, [1]

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，bimanual-so101-fold-tshirt数据集通过LeRobot平台精心构建，记录了双机械臂协作折叠T恤的全过程。该数据集采用SO101双从机械臂系统，以30fps的采样频率捕获了5个完整操作片段，共计11454帧数据。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效保存机械臂关节状态、末端执行器图像等多模态信息。

特点

该数据集最显著的特点是完整记录了双机械臂系统的24维动作空间和36维状态空间，包含左右机械臂各关节的位置、速度及负载信息。同时提供四路视觉数据：全局视角双摄像头和左右腕部摄像头，均以480×640分辨率RGB格式存储。多源异构数据的精确时间对齐，为研究双臂协调控制提供了丰富的时空关联信息。数据组织采用分块索引结构，支持高效随机访问和流式读取。

使用方法

研究者可通过HuggingFace平台直接加载该数据集，利用提供的元数据文件快速定位所需片段。典型应用包括：解析Parquet文件获取机械臂状态序列，结合视频数据研究视觉-动作映射关系，或提取特定关节运动轨迹进行分析。数据集已预分为训练集，包含全部5个操作片段，适用于模仿学习、强化学习等算法的训练与验证。视频文件与状态数据的帧级对齐特性，特别适合开发多模态感知的控制系统。

背景与挑战

背景概述

bimanual-so101-fold-tshirt数据集由LeRobot团队开发，专注于机器人双臂协同操作的研究。该数据集记录了SO101型双臂机器人在执行衣物折叠任务时的多模态数据，包括关节状态、视觉信息和动作指令。在机器人操作领域，双臂协同控制一直是研究热点，尤其是在处理柔性物体时，如何实现精确的位姿控制和动作规划面临诸多挑战。该数据集的构建为开发基于学习的双臂协同算法提供了重要支撑，推动了家庭服务机器人技术的发展。

当前挑战

该数据集面临的核心挑战体现在两个方面：在领域问题层面，双臂协同操作需要解决高维状态空间下的动作生成问题，以及视觉感知与运动控制的实时对齐难题；在构建过程层面，数据采集涉及复杂的多传感器同步，需确保不同模态数据的时间一致性，同时柔性物体的动态形变特性对动作标注提出了更高要求。此外，大规模双臂操作数据的稀缺性也限制了监督学习方法的性能上限。

常用场景

经典使用场景

在机器人控制领域，bimanual-so101-fold-tshirt数据集为研究双臂协同操作提供了丰富的实验数据。该数据集记录了双臂机器人在折叠T恤任务中的动作轨迹、关节状态和视觉信息，成为开发新型控制算法的基准测试平台。研究者可通过分析多模态传感器数据，探索双臂协调运动的优化策略。

实际应用

在工业自动化场景中，该数据集可直接指导服务型机器人开发衣物整理功能。医疗康复领域可借鉴其双臂协调模式设计辅助护理设备，而航天领域则能利用其微重力环境模拟数据优化空间站维护机器人的操作逻辑。

衍生相关工作

基于该数据集衍生的研究包括基于深度强化学习的双臂运动规划框架、多视角视觉伺服控制系统等。部分团队将其扩展为包含更多家居任务的Bimanual-Home基准，另有工作结合该数据开发了基于Transformer的双臂动作预测模型。