Lebruhbruh/charging_bimanual_06_12_merged

该数据集是使用LeRobot创建的，专注于机器人学领域，特别是双手机器人操作。数据集包含249个剧集，总计625017帧，数据以30帧每秒的速率采集。数据集结构包括动作数据（14维浮点数组，代表左右机械臂的关节位置和夹爪位置）、观测状态（与动作相同的14维状态）、以及来自三个视角（右、左、顶部）的图像观测，每个图像分辨率为360x640像素，3通道彩色视频。此外，数据集还包括时间戳、帧索引、剧集索引、索引和任务索引等元数据。数据以Parquet格式存储，视频文件以MP4格式存储，总数据大小约为300MB（数据文件100MB，视频文件200MB）。机器人类型为bi_yam_follower，适用于训练和评估双手机器人控制算法。This dataset was created using LeRobot, focusing on robotics, particularly bimanual robot manipulation. It contains 249 episodes with a total of 625017 frames, collected at 30 frames per second. The dataset structure includes action data (14-dimensional float32 arrays representing joint positions and gripper positions for left and right arms), observation state (same 14-dimensional state as action), and image observations from three perspectives (right, left, top), each with a resolution of 360x640 pixels and 3-channel color video. Additionally, the dataset includes metadata such as timestamp, frame index, episode index, index, and task index. Data is stored in Parquet format, with video files in MP4 format, totaling approximately 300MB in size (100MB for data files and 200MB for video files). The robot type is bi_yam_follower, suitable for training and evaluating bimanual robot control algorithms.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量的双臂操作数据集对于训练智能体执行复杂协作任务至关重要。该数据集基于LeRobot框架构建，通过采集双臂机器人（型号bi_yam_follower）在充电场景中的操作数据，以30帧每秒的频率同步记录14维关节动作、机器人的状态信息以及来自左、右和顶部三个视角的视觉图像。所有视觉数据均以AV1编码的高清视频形式存储，分辨率为360×640像素，确保了丰富的时空信息。原始数据经过归并处理，并按照统一的Parquet格式组织为249个episode，总计超过62万帧。

特点

该数据集的核心特色在于其专为双臂协作任务设计的双通道动作与状态空间，每个样本包含左右各6个关节位置及夹爪控制信号，共14维，精确映射了物理机器人的运动学结构。多视角摄像系统（左、右、顶部）提供了360度无死角的环境观测能力，特别适合研究遮挡场景下的视觉-运动协同控制。此外，数据采集频率稳定在30赫兹，动作与观测完全时间对齐，为模仿学习与基于模型的强化学习算法提供了理想的高质量训练素材。

使用方法

使用该数据集时，研究者可通过HuggingFace的LeRobot库轻松加载与可视化。数据集已预定义训练/测试划分，支持直接调用API获取批量的观测影像、机器人状态及动作时序数据。推荐结合LeRobot的仿真环境进行策略训练，将3视角图像作为策略网络的视觉输入，14维关节指令作为输出，并在真实机器人上部署。数据以Chunk形式分片存储，用户可按episode索引提取连续轨迹，便于长时程任务的学习与评估。

背景与挑战

背景概述

在机器人学习领域，双臂协同操控任务因其复杂的运动学约束与动态协调需求，始终是研究的热点与难点。该数据集由用户Lebruhbruh于2024年利用LeRobot框架创建，聚焦于充电场景下的双臂机器人操作，核心研究问题在于如何通过模仿学习使机器人掌握高柔性、多自由度的精细动作。数据集包含249个演示片段与超过62万帧观测数据，覆盖左右机械臂各6个关节及夹爪的14维动作空间，并配备多视角视觉输入（左、右、顶三摄像头），为双臂协同策略的端到端学习提供了高保真训练素材。作为开源社区推动机器人数据民主化的重要产物，该数据集降低了双臂操控研究的硬件门槛，促进了模仿学习算法在非结构化环境中的泛化能力验证。

当前挑战

该数据集所应对的核心领域挑战在于双臂机器人高维动作空间下的策略泛化性不足与实时协同误差累积问题，传统单一臂控制范式难以迁移至双机械臂的动态耦合场景。构建过程中遭遇多重困境：首先，多视角视频数据的采集需保证30帧/秒的时空一致性，而AV1编码虽节省存储却引入解码延迟；其次，14维动作标签的精确标注依赖遥操作设备，人为抖动与任务中断易导致噪声数据；再者，有限的任务类型（仅充电一项）与249条轨迹的规模，难以支撑深度模型对复杂环境变动的鲁棒学习。此外，双臂末端执行器在狭小充电空间内的碰撞规避与力控补偿，对数据采集的运动规划提出严苛要求，进一步限制了数据集的规模扩展。

常用场景

经典使用场景

在机器人操作学习领域，双机械臂协同操作一直是极具挑战的研究方向。charging_bimanual_06_12_merged数据集专为双机械臂（bimanual）机器人设计，记录了249个完整的充电操作片段，包含超过62万帧的精细化数据。每个片段同步采集了左右各6个关节的位置信息、夹爪状态，以及来自左侧、右侧和顶部三个视角的高清视觉图像（640×360分辨率）。这一多模态数据集为模仿学习策略提供了极具价值的训练材料，尤其适用于需要双手协作的精密操作任务。

实际应用

在真实工业与家庭服务场景中，该数据集具有广阔的应用前景。充电操作作为一种典型的精细双手协作任务，广泛存在于电动汽车充电桩对接、医疗设备连接、电子元件装配等实际场景中。利用该数据集训练的机器人，可在无人工干预情况下自主完成插拔、对准、夹持等复杂动作，极大提升自动化流程的可靠性和效率。更重要的是，该数据集由LeRobot框架构建，便于部署到真实机器人平台上，加速从仿真到现实的数据迁移与应用落地。

衍生相关工作

该数据集的出现催生了一系列具有影响力的衍生研究工作。基于LeRobot生态，研究人员利用此数据集开发了多种模仿学习算法，如行为克隆、扩散策略和基于transformer的序列建模方法。这些工作不仅验证了双手操作策略的可行性，还推动了数据增强、多视角融合和任务泛化等方向的发展。此外，该数据集与同类双机械臂数据集的整合，促成了元学习与多任务学习框架的构建，为通用机器人操作智能体的诞生提供了关键的训练基石。