bimanual_blue_block_handover_17

这是一个关于机器人操作的数据集，包含双臂机器人（bi_so101_follower）执行的任务数据。数据集共有8个剧集，9047帧，24个视频文件，分为1个块，每块1000帧。数据集的帧率是30fps，支持训练集分割。数据集中的特征包括动作和观察状态，动作特征包括双臂的多个关节位置和抓握器的位置，观察状态特征与动作特征相同。此外，还包括了右腕、左腕和顶部Realsense相机的视频信息。

This is a robotic manipulation dataset containing task data executed by the dual-arm robot (bi_so101_follower). The dataset includes 8 episodes, 9047 frames and 24 video files, divided into 1 chunk with 1000 frames per chunk. The frame rate of the dataset is 30fps, and training set splitting is supported. The features in the dataset cover actions and observation states: the action features include multiple joint positions of both arms and the positions of the grippers, while the observation state features are identical to the action features. Additionally, video information from the right wrist, left wrist and top Realsense camera is also included.

原始信息汇总

数据集概述

基本信息

• 数据集名称: bimanual_blue_block_handover_17
• 许可证: Apache-2.0
• 任务类别: 机器人技术
• 标签: LeRobot、双手操作、交接任务、固定配置

数据集规模

• 总任务数: 1
• 总片段数: 8
• 总帧数: 9047
• 总视频数: 24
• 数据块数: 1
• 块大小: 1000
• 帧率: 30 FPS
• 训练集划分: 0:8

数据结构

数据文件路径

• 数据文件: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

特征描述

动作特征

• 数据类型: float32
• 维度: [12]
• 关节位置:
  • 左肩平移位置
  • 左肩抬升位置
  • 左肘弯曲位置
  • 左腕弯曲位置
  • 左腕旋转位置
  • 左夹爪位置
  • 右肩平移位置
  • 右肩抬升位置
  • 右肘弯曲位置
  • 右腕弯曲位置
  • 右腕旋转位置
  • 右夹爪位置

观测状态

• 数据类型: float32
• 维度: [12]
• 关节位置（与动作特征相同）

图像观测

右手腕摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

左手腕摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

顶部RealSense摄像头:

• 数据类型: 视频
• 分辨率: 480×640×3
• 编码: AV1
• 像素格式: yuv420p
• 非深度图

元数据

• 时间戳: float32[1]
• 帧索引: int64[1]
• 片段索引: int64[1]
• 索引: int64[1]
• 任务索引: int64[1]

技术信息

• 代码库版本: v2.1
• 机器人类型: bi_so101_follower
• 视频属性: 无音频，30 FPS，3通道

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，bimanual_blue_block_handover_17数据集通过LeRobot平台精心构建，采用双手机器人系统bi_so101_follower进行数据采集。该数据集包含8个完整交互片段，总计9047帧数据，以30帧每秒的速率记录，所有数据被整合为单一数据块并存储于Parquet格式文件中。构建过程中同步采集了多视角视觉信息与精确的关节位置数据，为双手协作任务提供了详实的实验基础。

特点

该数据集显著特点在于其多维度的数据表征，不仅涵盖左右机械臂各6个自由度的关节位置动作数据，还集成三路高清视频流：左右腕部摄像头及顶部RealSense视角，均以480x640分辨率RGB格式呈现。数据结构采用严格的张量格式，动作与状态观测均以12维浮点向量记录，辅以时间戳和索引标记，确保时序一致性与数据可追溯性。这种多模态特性为研究双手协调控制与视觉感知融合提供了丰富素材。

使用方法

研究人员可通过解析Parquet文件直接访问结构化数据，利用帧索引与片段索引构建训练序列。视频数据遵循标准MP4编码规范，可通过指定路径加载视觉观测流。该数据集专为模仿学习与强化学习算法设计，动作空间与状态空间的对称结构便于构建端到端策略网络。建议以30Hz时序频率处理数据流，充分利用其高同步性的多模态特性进行机器人操作策略的建模与验证。

背景与挑战

背景概述

在机器人操作领域，双手机器人协同作业是实现复杂任务的关键技术。bimanual_blue_block_handover_17数据集由HuggingFace的LeRobot项目团队构建，专注于双手机器人间的物体传递任务。该数据集通过记录两台协作机器人的关节位置、视觉观测和时间序列数据，为研究双臂协调控制提供了真实交互场景下的多模态数据支持。其核心研究问题在于解决双臂机器人如何在动态环境中实现精准的物体交接，这对提升服务机器人和工业自动化系统的操作能力具有重要推动作用。

当前挑战

该数据集致力于解决双手机器人物体传递中的动作同步与空间协调难题，涉及多关节运动规划、视觉反馈融合等复杂问题。构建过程中面临数据采集的挑战，包括双机器人系统的精确时间对齐、多视角视频数据的同步存储，以及高维度动作与状态数据的标准化处理。此外，确保在不同环境条件下传递任务的泛化性能，也对数据集的多样性和规模提出了严格要求。

常用场景

经典使用场景

在机器人操作研究领域，bimanual_blue_block_handover_17数据集为双臂协作任务提供了标准化实验平台。该数据集通过记录双手机器人执行物体传递任务的全过程，包含完整的关节位置数据和多视角视觉信息，为研究双臂协调控制算法提供了丰富的训练样本。研究人员可利用该数据集开发基于模仿学习的控制策略，探索在复杂操作场景下双臂运动的时序同步与空间协调机制。

衍生相关工作

围绕该数据集已衍生出多项重要研究工作。基于模仿学习的双臂控制方法利用数据集中的示范数据训练深度神经网络，实现了高效的任务学习。部分研究专注于多模态感知融合，将关节运动与视觉信息结合开发出更鲁棒的控制策略。还有工作探索了从演示数据中提取任务约束的方法，为复杂操作任务的自主执行提供了新的技术路径。

数据集最近研究

最新研究方向

在机器人协作操作领域，双手机器人交接任务正成为提升人机交互自然度的关键突破口。该数据集通过记录双臂协同操作蓝色积木的完整轨迹，为模仿学习与强化学习算法提供了多模态训练范本。当前研究聚焦于视觉-动作映射的端到端模型构建，利用腕部摄像头与关节状态数据探索动态环境下的抓取策略优化。随着家庭服务与工业自动化需求增长，此类精细操作数据集正推动触觉反馈与预测控制技术的融合，为构建安全可靠的协作机器人系统奠定数据基石。