bimanual_blue_block_handover_22

该数据集是一个机器人数据集，包含20个剧集，共22842帧，分为1个任务。数据集包含60个视频文件，所有数据被打包在1个片段中，每个片段包含1000帧。数据集的帧率为30fps，并且目前只提供了训练分割。数据集的特征包括机器人的动作和状态，以及三个不同的视频流（右手腕、左手腕和顶部RealSense摄像头）。所有视频流都是480x640的分辨率，使用av1编码，没有音频。

This robotic dataset contains 20 episodes with a total of 22,842 frames, targeting a single task. The dataset includes 60 video files, with all data packaged into one segment, where each segment contains 1,000 frames. It has a frame rate of 30 fps, and only the training split is currently available. The dataset features robot actions and states, as well as three distinct video streams: right wrist, left wrist, and top-mounted RealSense camera. All video streams have a resolution of 480×640, use AV1 encoding, and contain no audio.

原始信息汇总

数据集概述

基本信息

• 数据集名称: bimanual_blue_block_handover_22
• 创建工具: LeRobot
• 许可证: Apache-2.0
• 任务类别: 机器人技术

数据集规模

• 总任务数: 1
• 总片段数: 20
• 总帧数: 22842
• 总视频数: 60
• 数据块数: 1
• 块大小: 1000
• 帧率: 30 fps

数据划分

• 训练集: 0:20（全部数据）

数据结构

数据文件路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征字段

动作特征

• 名称: action
• 数据类型: float32
• 维度: [12]
• 关节位置:
  • left_shoulder_pan.pos
  • left_shoulder_lift.pos
  • left_elbow_flex.pos
  • left_wrist_flex.pos
  • left_wrist_roll.pos
  • left_gripper.pos
  • right_shoulder_pan.pos
  • right_shoulder_lift.pos
  • right_elbow_flex.pos
  • right_wrist_flex.pos
  • right_wrist_roll.pos
  • right_gripper.pos

观测状态

• 名称: observation.state
• 数据类型: float32
• 维度: [12]
• 关节位置: 与动作特征相同

图像观测

右侧腕部摄像头:

• 名称: observation.images.wrist_right
• 数据类型: video
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

左侧腕部摄像头:

• 名称: observation.images.wrist_left
• 数据类型: video
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

顶部RealSense摄像头:

• 名称: observation.images.realsense_top
• 数据类型: video
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

索引信息

• 时间戳: float32[1]
• 帧索引: int64[1]
• 片段索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术规格

• 代码库版本: v2.1
• 机器人类型: bi_so101_follower
• 所有视频均无音频

搜集汇总

数据集介绍

构建方式

在机器人协作任务研究领域，该数据集通过LeRobot平台系统采集双手机器人执行蓝色积木交接任务的动态数据。构建过程包含20个完整交互片段，以30帧/秒的采样频率记录22842帧时序数据，采用分块存储架构将动作轨迹与多视角视觉信息同步封装于Parquet格式文件中。数据采集依托双索101型跟随机器人平台，通过预设的机械臂关节空间坐标与夹爪状态构建12维动作向量，确保操作序列的时空一致性。

特点

该数据集显著特征体现在多模态数据融合与精细的动作表征维度。除包含左右机械臂12个关节的位置控制信号外，还集成右手腕、左手腕及顶部RealSense相机三路视觉数据流，形成480×640分辨率的RGB视频记录。数据架构采用分层命名机制，明确区分观测状态、动作指令与元数据索引，支持对双工操作链路的端到端分析。所有视觉数据均采用AV1编码压缩，在保证画面质量的同时优化存储效率。

使用方法

研究者可通过解析Parquet文件结构直接获取时空对齐的多模态序列，利用帧索引与片段索引重建完整任务轨迹。数据集默认划分为训练集，支持加载特定片段的动作-观测对进行模仿学习算法训练。视频数据可通过指定路径模板动态加载，配合关节位置数据实现行为克隆与强化学习应用的联合优化。该架构特别适合双手机器人协调控制、视觉运动策略学习等研究方向，为多智能体协作任务提供标准化评测基准。

背景与挑战

背景概述

在机器人协作领域，双手机器人操作任务的研究日益受到关注。bimanual_blue_block_handover_22数据集由LeRobot团队基于其开源机器人平台构建，专注于双手机器人间的物体传递行为。该数据集通过记录双手机器人各关节位置、夹爪状态及多视角视觉数据，为研究双臂协调控制与物体交接策略提供了结构化实验数据。其构建体现了机器人学中从单臂操作向复杂双臂协作的技术演进，对推动服务机器人与工业自动化发展具有重要价值。

当前挑战

该数据集致力于解决双手机器人协作中物体平稳传递的核心难题，涉及双臂运动轨迹规划、抓握力控制与视觉反馈的实时协调。在数据采集过程中，需同步处理12自由度关节动作数据与三路高清视频流，确保时序对齐与空间一致性成为关键挑战。多传感器融合带来的数据异构性，以及机械臂运动学约束下的动作空间建模，进一步增加了数据集构建的复杂性。

常用场景

经典使用场景

在机器人协作操作领域，bimanual_blue_block_handover_22数据集为双手机器人交接任务提供了标准化实验平台。该数据集通过记录双机械臂对蓝色积木的交接过程，包含关节位置、视觉观测等多模态数据，成为训练机器人精细操作能力的核心资源。研究者可利用其构建端到端模仿学习模型，使机器人学习人类演示中的协调动作模式，推动双臂协同控制技术的发展。

解决学术问题

该数据集有效解决了机器人学中双臂协调控制的三大难题：动作序列的时序对齐、多传感器数据融合以及动态环境下的抓取稳定性。通过提供精确的关节轨迹与多视角视觉数据，为研究跨模态表征学习、动作预测算法验证建立了基准。其结构化标注方式显著降低了复杂任务策略学习的建模门槛，对推进具身智能研究具有重要方法论意义。

衍生相关工作

基于该数据集衍生的经典研究包括分层强化学习框架Bi-Man-HRL，其通过解耦主从臂控制策略提升了任务完成效率。视觉触觉融合网络VitaTac借鉴其多模态标注体系，实现了仅凭视觉输入的抓取力预测。开源项目DexTransfer则利用该数据集构建了跨机器人平台的策略迁移管道，为异构机器人协作提供了标准化接口。