bimanual_blue_block_handover_7

该数据集是一个机器人学数据集，包含25个剧集，共计17633帧，1个任务，75个视频和1个块。每个块包含1000帧数据，帧率为30fps。数据集包括与机器人动作相关的多种特征，如肩膀、肘部、手腕和夹子的位置信息，以及手腕和顶部的视频图像。数据集的许可是Apache-2.0。

原始信息汇总

数据集概述

基本信息

• 数据集名称: bimanual_blue_block_handover_7
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot、双手操作、交接任务、整合数据

数据集规模

• 总任务数: 1
• 总片段数: 25
• 总帧数: 17633
• 总视频数: 75
• 数据块数: 1
• 块大小: 1000
• 帧率: 30 fps
• 训练集划分: 0:25

数据结构

数据文件路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [12]
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态

• 名称: observation.state
• 数据类型: float32
• 维度: [12]
• 关节位置: 与动作特征相同

图像观测

右侧腕部摄像头:

• 名称: observation.images.wrist_right
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

左侧腕部摄像头:

• 名称: observation.images.wrist_left
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

顶部RealSense摄像头:

• 名称: observation.images.realsense_top
• 数据类型: 视频
• 分辨率: 480×640×3
• 视频编码: AV1
• 像素格式: yuv420p
• 非深度图

索引字段

• 时间戳: float32[1]
• 帧索引: int64[1]
• 片段索引: int64[1]
• 数据索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: bi_so101_follower
• 所有视频均无音频

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，该数据集通过LeRobot平台精心构建，采用双手机器人系统记录物体传递任务。数据采集过程涵盖了25个完整交互片段，总计17633帧，以30帧每秒的速率同步记录多视角视觉信息与关节状态。数据以分块形式存储于Parquet文件中，每个数据块包含1000个连续交互步骤，确保时序连贯性与高效存取。

特点

该数据集的核心特征在于其多维度的传感器融合架构，同时整合了12维双手机器人关节控制指令与状态反馈。视觉模态包含三个独立视角的高清视频流，分别来自左右腕部摄像头及顶部深度传感器，分辨率均为640x480像素。数据结构采用标准化特征命名体系，精确标注了每个关节的空间位置与夹持器状态，为双臂协调控制研究提供丰富时空信息。

使用方法

研究人员可通过加载标准Parquet数据文件直接访问结构化观测序列，其中动作空间与状态空间均以浮点张量形式呈现。数据集已预划分为训练集，支持端到端的模仿学习与强化学习算法验证。利用内置视频解码功能可同步还原多视角视觉序列，结合时间戳与帧索引实现精确的传感-动作对齐，为双臂操作策略的离线训练与在线仿真提供完整数据支撑。

背景与挑战

背景概述

在机器人操作领域，双手机器人协作任务的研究逐渐成为提升机器人自主性与交互能力的关键方向。bimanual_blue_block_handover_7数据集由LeRobot团队构建，专注于双手机器人间的物体交接操作，旨在解决机器人执行复杂协作任务时的动作协调与感知融合问题。该数据集通过记录双臂机器人的关节位置、视觉观测及时间序列数据，为机器人学习与模仿人类双手协作行为提供了重要支持，推动了机器人操作策略的优化与泛化能力发展。

当前挑战

双手机器人交接任务面临的核心挑战在于高维动作空间的精确控制与多模态感知数据的实时对齐，需确保双臂运动轨迹的同步性与安全性。数据集构建过程中，采集设备需同步处理多路视频流与关节状态数据，对硬件同步精度与数据存储效率提出严格要求；同时，标注复杂交互动作的时序一致性也增加了数据处理的复杂度，可能影响模型训练的稳定性与泛化性能。

常用场景

经典使用场景

在机器人操作领域，该数据集聚焦于双手协作的物体传递任务，通过记录双手机械臂的关节位置、夹持器状态以及多视角视觉数据，为机器人学习复杂的双手协调控制策略提供了丰富素材。研究者可基于该数据集训练模型理解双手在空间中的相对运动关系，优化从抓取到传递的完整动作序列，推动双手操作智能体的行为生成与优化。

实际应用

在工业自动化与服务机器人场景中，该数据集所代表的双手交接能力具有广泛实用性。例如在装配线上实现零件双工位传递、在物流分拣中完成包裹交接，或在医疗辅助机器人中支持器械传递等任务。基于此类数据训练的模型能够提升机器人在非结构化环境中的操作鲁棒性，降低对人类干预的依赖，推动智能体在真实场景中的自主化水平。

衍生相关工作

围绕该数据集衍生的研究多集中于模仿学习与强化学习框架下的双手控制策略生成。已有工作利用其多模态观测数据，开发端到端的动作预测模型，或结合逆动力学学习实现精细的关节级控制。同时，该数据集也促进了跨任务泛化、多传感器融合等方向的探索，为机器人操作社区的基准测试与算法比较提供了重要支撑。