BruceZhang0912/Bimanual-Recordings

该数据集由LeRobot创建，是一个机器人学数据集，专门用于机器人控制与学习任务。数据集包含51个episodes，总计15247帧数据，涵盖204个视频。数据集中提供了丰富的多模态信息：动作数据包括14个关节控制（左右机械臂各7个关节），观测数据包括14个关节状态和来自四个视角（左腕、顶部、底部、右腕）的图像观测，图像分辨率为480x640，帧率为30fps，采用AV1编码。数据集以parquet文件格式组织，包含训练集划分，适用于机器人模仿学习、强化学习等研究。This dataset was created using LeRobot and belongs to the robotics domain. It consists of 51 episodes, 15247 frames, and 204 videos. The dataset includes multimodal data: actions with 14 joint controls (7 joints for each of the left and right arms), observations with 14 joint states, and image observations from four perspectives (left_wrist, top, bottom, right_wrist) at a resolution of 480x640 and 30 fps, encoded with AV1. Organized in parquet files, it contains a train split and is suitable for research in robot imitation learning, reinforcement learning, and related tasks.

搜集汇总

数据集介绍

构建方式

Bimanual-Recordings数据集基于LeRobot框架构建，专注于双手机器人操作任务的数据采集。该数据集通过Trossen Robotics的固定式双臂机器人平台进行录制，共计包含51个演示片段，累计15247帧数据，所有数据均统一划分为训练集。数据以Parquet格式存储结构化信息，同时辅以MP4格式的视频记录，遵循'data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet'与'videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4'的路径规范，确保了数据存储的高效性与可追溯性。

特点

该数据集的核心特色在于其精细化的双手机器人状态与动作表征。动作与观测状态均编码为14维浮点向量，分别对应左右机械臂各7个关节的精确参数，为双臂协同控制研究提供了高保真度的运动学数据。视觉观测方面，数据集集成了四路640×480分辨率、30帧/秒的彩色视频流，分别来自左腕、右腕、顶部及底部视角，为环境感知与操作空间的立体建模提供了多角度的视觉信息。这种多模态特性使得数据集成为模仿学习与强化学习算法验证的理想基准。

使用方法

数据集的使用高度集成于LeRobot框架之中，用户可通过HuggingFace Datasets库直接加载，并利用LeRobot提供的标准化API进行数据解析与预处理。推荐的流程包括利用'lerobot/common/datasets/push_dataset_to_hub.py'脚本将本地Parquet与视频文件同步至云端，或通过数据加载器直接读取训练集的全部51个片段。在模型训练中，可灵活提取14维动作向量作为控制指令，联合多视角图像帧与关节状态作为观测输入，结合时间戳与帧索引构建序列化样本，适用于端到端策略学习、行为克隆及双臂同步控制等典型研究场景。

背景与挑战

背景概述

双手机器人操控是机器人学习领域的前沿方向，其核心在于协调双臂完成复杂的交互任务，这一技术对工业自动化、医疗手术及家庭服务等场景具有深远意义。Bimanual-Recordings数据集由Hugging Face联合Trossen Robotics等机构于LeRobot框架下创建，旨在为双手机器人操控提供标准化训练数据。该数据集包含51个完整回合、15247帧观测数据，以30帧/秒的采样率记录了两台七自由度机械臂（共14个关节）的关节状态与动作序列，并配备了顶部、底部及双侧腕部共四路视觉输入（分辨率480×640）。其发布填补了开源双手机器人数据集的空白，为模仿学习、强化学习等算法的研发提供了高质量基准，尤其推动了双臂协同任务中多模态感知与运动规划的交叉研究。

当前挑战

双手机器人操控面临的核心挑战在于双臂运动的高维协同与时空一致性。机械臂的14个关节自由度导致动作空间呈指数级增长，传统的单臂控制方法难以直接迁移至双臂场景，亟需算法在动态环境中实时协调左右臂的力与位姿，避免碰撞的同时实现高效配合。数据集构建过程中亦存在显著障碍：标注双臂动作的语义标签（如“抓取-传递-放置”的序列化交互）需要精密的时序对齐，而多视角相机（四路视频）的同步校准、光照变化及机器人基座抖动等因素均增加了数据采集的复杂度。此外，观测数据中的视觉特征（如深度信息缺失）与关节噪声进一步考验了模型在有限回合数（仅51轮）下的泛化能力，对数据增强策略与域适应技术提出了更高要求。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，Bimanual-Recordings数据集为双臂协同控制的研究提供了至关重要的基准资源。该数据集记录了Trossen AI Stationary机械臂在多种任务场景下的完整操作轨迹，包含51个高质量演示片段和超过1.5万帧数据，每一帧均采集了左右各7个关节的精确状态与动作信息，并辅以四路摄像头（顶部、底部、左右腕部）的同步视觉流。其最经典的使用场景是作为模仿学习的训练素材，研究者可直接利用其中的动作-状态对，通过行为克隆、逆强化学习或最近兴起的扩散策略等方法，让机器人学会执行复杂的双手协调任务。此外，该数据结构遵循LeRobot规范，便于无缝接入主流开源工具链，极大地降低了双臂操作研究的入门门槛。

实际应用

Bimanual-Recordings在智能制造、医疗辅助及家庭服务等实际场景中展现出广阔的应用前景。在精密装配线上，双臂机器人可借助该数据集习得的协调能力，完成如零件对插、线束整理等需要双手配合的精细工序，比单臂方案显著提升效率与稳定性。在医疗领域，该数据集训练的模型可辅助外科机器人进行器械传递或组织牵拉等协作动作，减少手术人力需求。家庭服务方面，双臂机器人能基于此类数据学习开瓶、叠衣或搬运大件物品等日常技能，使机器人从简单的工具执行者进化为能处理复杂物理交互的家庭助手。这些应用的核心在于数据集提供了真实操作中运动与视觉之间的强关联，使得迁移至实体机器人时具备更高的成功率和鲁棒性。

衍生相关工作

该数据集衍生了一系列影响深远的经典工作。基于其标准化的数据格式，LeRobot社区发起了多届双臂操作挑战赛，催生了如ACT（Action Chunking with Transformers）和DP（Diffusion Policy）等代表性算法的专案优化版本。研究者利用该数据集验证了隐式行为克隆在双臂任务中的有效性，并提出了融合触觉信息的跨模态策略模型。此外，部分工作专注于解决数据量有限下的泛化问题，通过数据增强和域随机化技术，使得单数据集训练的策略能够迁移至不同构型的双臂平台。这些衍生产出不仅丰富了机器人策略学习的方法论文库，也为后续更复杂的多技能组合学习奠定了理论和工程基础，体现了该数据集作为学术催化剂的独特价值。