bimanual_blue_block_handover_5

该数据集是一个机器人学数据集，包含双臂操作、交接等任务的视频和相关信息。数据集共有25个剧集，每个剧集包含多个视频和帧，总共有18858帧。数据集以Parquet格式存储动作、状态和视频帧等信息，并提供了对应的元数据文件。数据集的许可证为Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot、双手操作、交接、整合

数据集结构

统计信息

• 总任务数: 1
• 总片段数: 25
• 总帧数: 18858
• 总视频数: 75
• 总数据块数: 1
• 数据块大小: 1000
• 帧率: 30 FPS
• 代码库版本: v2.1
• 机器人类型: bi_so101_follower

数据划分

• 训练集: 0-25

数据特征

动作特征

• 数据类型: float32
• 维度: [12]
• 关节位置:
  • 左肩平移
  • 左肩抬升
  • 左肘弯曲
  • 左腕弯曲
  • 左腕旋转
  • 左夹爪
  • 右肩平移
  • 右肩抬升
  • 右肘弯曲
  • 右腕弯曲
  • 右腕旋转
  • 右夹爪

观测状态

• 数据类型: float32
• 维度: [12]
• 关节位置: 与动作特征相同

图像观测

• 右腕相机:

  • 分辨率: 480×640×3
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 无音频

• 左腕相机:

  • 分辨率: 480×640×3
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 无音频

• 顶部RealSense相机:

  • 分辨率: 480×640×3
  • 编码: AV1
  • 像素格式: yuv420p
  • 非深度图
  • 帧率: 30 FPS
  • 无音频

索引信息

• 时间戳: float32 [1]
• 帧索引: int64 [1]
• 片段索引: int64 [1]
• 索引: int64 [1]
• 任务索引: int64 [1]

数据存储

• 数据文件路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

创建信息

• 创建工具: LeRobot (https://github.com/huggingface/lerobot)

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集通过LeRobot平台系统采集，记录了双手机器人执行蓝色积木交接任务的完整过程。数据采集采用bi_so101_follower型机器人，以30帧/秒的速率同步记录25个任务片段，共计18858帧数据。原始数据被规范分割为统一大小的数据块，并封装于Parquet格式文件中，确保时序动作与多视角视觉数据的精确对齐。

特点

该数据集显著特征在于其多维异构数据的深度融合，不仅包含12维双机械臂关节空间的动作向量，还同步采集了右手腕、左手腕及顶部RealSense相机的三路高清视频流。所有传感器数据均以浮点32位精度存储，视频采用AV1编码压缩，形成480×640分辨率的三通道彩色图像序列。这种多模态数据结构为研究双手协调操作与视觉感知的交互机制提供了完整信息支撑。

使用方法

研究者可通过解析Parquet数据文件直接获取结构化观测与动作序列，利用帧索引和时间戳实现精确的数据对齐。每个数据样本包含关节位置状态、多视角视觉观测及对应的控制指令，适用于模仿学习与强化学习算法的训练。视频数据存储在独立MP4文件中，可通过预设路径模板与动作数据建立映射关系，支持端到端的机器人操作策略学习。

背景与挑战

背景概述

在机器人协作操作领域，双手机器人手部交接任务代表着一项关键研究课题。bimanual_blue_block_handover_5数据集由LeRobot研究团队基于Apache 2.0许可协议构建，专门针对双臂机器人系统设计。该数据集通过记录12自由度机械臂的关节位置数据与多视角视觉信息，致力于解决复杂环境下的物体传递协调性问题。其包含25个完整交互序列与18858帧同步数据，为机器人动作规划与感知融合研究提供了重要实验基础。

当前挑战

双手机器人交接任务面临动作时序协调与空间避碰的双重挑战，需精确控制左右机械臂的12个关节运动轨迹以避免干涉。数据集构建过程中需同步处理三路高清视频流与传感器数据，对数据采集系统的实时性与稳定性提出严格要求。多模态数据融合时存在时间戳对齐精度与异构数据标准化难题，同时需确保不同视角视觉信息在动态操作中的空间一致性。

常用场景

经典使用场景

在机器人协作领域，bimanual_blue_block_handover_5数据集为双手机器人交接任务提供了标准化的实验平台。该数据集通过记录双机械臂对蓝色积木的协同操作过程，包含关节位置、视觉观测等多模态数据，成为训练机器人精细操作能力的核心资源。研究者可基于此数据集开发动作规划算法，模拟人类双手协作的流畅性，推动机器人从单臂操作向双臂协同的范式转移。

解决学术问题

该数据集有效解决了机器人学中多模态感知与动作协同的耦合难题。通过提供同步的关节运动轨迹与三视角视觉数据，为研究双臂系统的运动学约束、视觉伺服控制等基础问题奠定数据基石。其标准化格式降低了异构机器人平台的研究门槛，使学术界能专注于算法创新而非数据采集，显著加速了机器人操作技能的学习进程。

衍生相关工作

基于该数据集的特性，衍生出多项关于时空动作建模的创新研究。部分工作聚焦于跨视角视觉特征融合，利用三路视频流构建立体感知网络。另有研究探索分层强化学习框架，通过解耦双臂任务层级提升学习效率。这些成果持续丰富着机器人操作知识体系，为后续大规模行为克隆与元学习研究提供重要参照。