bimanual-smooth-fold-clothes-so101-test

这是一个关于机器人操作的数据集，包含10个剧集，共计18801帧，分为1个任务。数据集包含30个视频文件，每个视频文件被分为多个块，每块1000帧。数据集提供了多种特征，包括机器人各关节的位置信息、三个视角的图像信息等。所有数据以Parquet格式存储，并提供了对应的视频文件。

This is a robotic manipulation dataset containing 10 episodes and a total of 18,801 frames, with all data belonging to one single task. The dataset comprises 30 video files, each split into multiple chunks where each chunk holds 1000 frames. Multiple feature modalities are provided, including the joint position data of the robot and image data captured from three perspectives, among others. All data is stored in Parquet format, with corresponding video files made available as well.

原始信息汇总

数据集概述

基本信息

• 名称: bimanual-smooth-fold-clothes-so101-test
• 任务类别: 机器人技术
• 标签: LeRobot
• 许可证: Apache-2.0
• 创建工具: LeRobot

数据集规模

• 总任务数: 1
• 总片段数: 10
• 总帧数: 18801
• 总视频数: 30
• 数据块数: 1
• 块大小: 1000
• 帧率: 30fps
• 数据分割: 训练集包含全部10个片段

数据结构

数据文件路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征 (action)

• 数据类型: float32
• 维度: [12]
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态 (observation.state)

• 数据类型: float32
• 维度: [12]
• 关节位置与动作特征相同

图像观测

左侧图像 (observation.images.left)

• 类型: 视频
• 分辨率: 480×640×3
• 编码: H264
• 格式: YUV420p
• 非深度图

顶部图像 (observation.images.top)

• 类型: 视频
• 分辨率: 480×640×3
• 编码: H264
• 格式: YUV420p
• 非深度图

右侧图像 (observation.images.right)

• 类型: 视频
• 分辨率: 480×640×3
• 编码: H264
• 格式: YUV420p
• 非深度图

索引信息

• 时间戳: float32[1]
• 帧索引: int64[1]
• 片段索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

技术规格

• 代码库版本: v2.1
• 机器人类型: bi_so101_follower
• 视频属性: 30fps，3通道，无音频

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集通过LeRobot平台系统采集，记录了双手机器人执行衣物折叠任务的过程。数据以30帧每秒的速率捕获，包含10个完整操作片段，总计18801帧动作序列。每个片段存储为标准化parquet格式，整合了12维关节位置控制指令与多视角视觉观测数据，形成时空对齐的多模态记录。

特点

该数据集显著特征在于其双工机械臂协同操作的完整轨迹记录，涵盖左右机械臂各6个自由度的精确位置控制数据。多视角视觉系统同步提供480x640分辨率的左、右、顶三路RGB视频流，构建了立体化操作场景感知。数据结构采用分层索引机制，通过帧索引、片段索引与任务索引实现高效检索，为模仿学习算法提供丰富的时空关联特征。

使用方法

研究人员可通过加载标准parquet文件直接访问结构化数据，利用帧索引系统重构连续操作序列。动作空间包含12维浮点型关节指令，观测空间则整合关节状态与三路视频流，支持端到端策略学习。数据集兼容主流机器人学习框架，通过指定数据路径即可加载训练片段，视频文件可通过对应键值匹配访问，为双手机器人操作研究提供标准化评测基准。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同执行精细任务的研究日益受到关注。bimanual-smooth-fold-clothes-so101-test数据集由LeRobot团队基于开源机器人学习框架构建，专注于双手机器人衣物折叠这一复杂操作场景。该数据集通过记录双机械臂的12维关节位置数据与多视角视觉观测，为研究双臂协调控制提供了结构化实验数据，其30帧/秒的同步采集频率完整呈现了动态操作过程。

当前挑战

该数据集致力于解决双手机器人衣物柔性物体操作的三大核心挑战：双臂运动轨迹的高维协调规划、基于视觉反馈的动态姿态调整、以及非刚性物体形变的状态建模。在数据构建过程中，面临多传感器时序同步校准、双臂动作空间的高效采样、以及真实环境下光照与布料材质变异带来的感知噪声等工程难题。

常用场景

经典使用场景

在机器人灵巧操作研究领域，该数据集通过双手机械臂协同折叠衣物的任务场景，为模仿学习算法提供了标准化测试平台。其多视角视觉观测与12维关节动作空间的结构设计，使得研究者能够系统评估双臂协调控制策略在复杂形变物体操作中的表现。

解决学术问题

该数据集有效应对了机器人操作研究中非刚性物体形变建模的挑战，通过记录真实环境下的衣物折叠过程，为研究双臂运动规划、视觉-动作映射等核心问题提供了数据支撑。其精细的动作标注与多模态观测数据，显著推进了家庭服务机器人对柔性物体操作能力的理论基础构建。

衍生相关工作

基于该数据集的特性，已催生若干关于双手机器人动作生成模型的研究。这些工作通过时空注意力机制解耦双臂协作关系，或利用对抗训练提升动作平滑性，进一步推动了动态场景下机器人操作策略的泛化能力与鲁棒性提升。