bimanual_blue_block_handover_20

这是一个使用LeRobot创建的数据集，包含20个剧集，共14673帧，1个任务，60个视频，分为1个块，每个块的大小为1000。数据集的特征包括动作、观测状态、右手腕、左手腕和顶部RealSense相机的视频信息，以及时间戳、帧索引、剧集索引、索引和任务索引。所有数据以Parquet格式存储，并提供了相应的视频文件。

原始信息汇总

数据集概述

基本信息

• 数据集名称: bimanual_blue_block_handover_20
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总情节数: 20
• 总帧数: 14673
• 总任务数: 1
• 总视频数: 60
• 总块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 数据分割: 训练集包含所有20个情节

数据结构

数据文件路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征 (action)

• 数据类型: float32
• 维度: [12]
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态 (observation.state)

• 数据类型: float32
• 维度: [12]
• 关节位置: 与动作特征相同

图像观测

右腕相机 (observation.images.wrist_right)

• 类型: 视频
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

左腕相机 (observation.images.wrist_left)

• 类型: 视频
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

顶部RealSense相机 (observation.images.realsense_top)

• 类型: 视频
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

元数据

• 时间戳: float32[1]
• 帧索引: int64[1]
• 情节索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: bi_so101_follower

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，bimanual_blue_block_handover_20数据集通过LeRobot平台精心构建，涵盖了20个完整交互片段，总帧数达14673。数据以30帧每秒的速率采集，存储为Parquet格式，每个片段包含双臂协同操作蓝色积木的递接任务。该数据集整合了机器人关节位置状态、多视角视觉信息及时间序列索引，确保了数据结构的系统性和完整性。

特点

该数据集在机器人双臂控制研究中展现出独特价值，其核心特征包括12维关节动作与状态向量，分别对应左右机械臂的肩部、肘部、腕部及夹爪运动。同时提供三路高清视频流：左右腕部摄像头及顶部RealSense视角，分辨率均为640x480，以AV1编码记录RGB影像。数据采用统一时间戳与帧索引，支持多模态对齐分析，为仿人机器人操作研究提供丰富感知维度。

使用方法

研究者可通过加载标准Parquet文件直接访问结构化数据，利用帧索引实现时间序列分析。动作与观测数据采用浮点型张量格式，视频流可通过指定路径解码还原。数据集默认划分为训练集，涵盖全部20个交互情景，适用于模仿学习、动作预测等算法验证。多传感器数据融合特性使其成为评估双臂协调控制策略的理想基准。

背景与挑战

背景概述

在机器人协作领域，双手机器人系统的物体传递任务对实现自然流畅的人机交互具有关键意义。bimanual_blue_block_handover_20数据集由LeRobot研究团队基于Apache 2.0许可协议构建，专门针对双臂机器人交接蓝色方块的场景设计。该数据集通过记录20个完整交互片段，包含14673帧多视角视觉数据与12维关节控制指令，为研究双臂协调控制与物体传递策略提供了结构化实验数据。其技术架构融合了手腕视角与顶部视角的同步视频流，体现了机器人感知-行动闭环研究的最新进展。

当前挑战

双臂物体传递任务面临动作时序协调与空间轨迹规划的复合挑战，需解决双手避碰约束与物体姿态稳定控制的动态平衡问题。数据集构建过程中需克服多传感器时序对齐的技术难点，包括三路高清视频流与十二自由度关节数据的毫秒级同步记录。数据标注环节涉及对复杂机械臂运动链的轨迹解析，以及在不同光照条件下保持视觉特征一致性的采集规范，这些因素共同构成了高质量机器人示范数据生成的瓶颈。

常用场景

经典使用场景

在机器人协作操作领域，该数据集通过记录双手机器人交接蓝色积木的完整过程，为模仿学习算法提供了标准化的训练范例。其多视角视觉数据与关节位置信息相结合，能够有效模拟真实世界中双手协调抓取与传递物体的动态场景，成为开发智能抓取策略的重要资源。

实际应用

在工业自动化与物流分拣场景中，该数据集支撑的算法可应用于精密装配线上的零件传递、危险环境下的物料搬运等任务。通过模拟人类双手协作模式，有效提升了机器人对不规则物体的适应能力，为柔性制造系统中自主抓取技术的落地提供了关键数据支撑。

衍生相关工作

基于该数据集衍生的经典研究包括多智能体强化学习在双臂协调中的应用、视觉-动作映射的跨模态预训练方法等。这些工作通过挖掘数据集中隐藏的时空关联性，发展了分层动作表示学习、动态手势识别等新技术，持续推动着协作机器人认知能力的发展。