jellyho/aloha_handover_box_joint_pos_bc

该数据集由LeRobot创建，是一个用于机器人学的数据集，包含40个训练集片段，总计9547帧，帧率为25fps。数据集以Parquet格式存储，并包含视频文件（MP4格式，使用AV1编解码器）。数据特征包括：状态观测（14维浮点数，表示左右机械臂的6个关节和夹爪位置）、动作（14维浮点数，结构与状态观测相同）、来自三个摄像头的视频观测（背部摄像头分辨率为480x640，左右手腕摄像头分辨率为240x320）、奖励（浮点数）、成功标志（布尔值）、时间戳、帧索引、片段索引、任务索引等。数据集仅用于训练，无其他分割。This dataset, created by LeRobot, is a robotics-focused dataset containing 40 training episodes, with a total of 9547 frames at a frame rate of 25 fps. It is stored in Parquet format and includes video files in MP4 format using the AV1 codec. The data features include: state observations (14-dimensional floating-point numbers representing the 6 joints and gripper positions of the left and right robotic arms), actions (14-dimensional floating-point numbers with the same structure as the state observations), video observations from three cameras (the rear camera has a resolution of 480x640, while the left and right wrist cameras have a resolution of 240x320), rewards (floating-point numbers), success flags (boolean values), timestamps, frame indices, episode indices, task indices, and other relevant items. This dataset is exclusively intended for training and has no additional data splits.

搜集汇总

数据集介绍

构建方式

在机器人操作任务的研究中，高质量的演示数据是行为克隆等模仿学习方法成功的基石。aloha_handover_box_joint_pos_bc数据集基于LeRobot框架构建，专注于双臂机器人之间的物体交接任务。该数据集通过遥操作方式收集了50个演示片段，共计11829帧数据，涵盖了从抓取到交接的完整操作流程。每个演示片段以25帧/秒的采样率记录，并按照LeRobot v2.1规范进行结构化存储，数据以Parquet格式保存以支持高效的压缩与加载。

使用方法

使用该数据集时，开发者可通过LeRobot库中的加载函数直接读取Parquet文件与关联视频。数据集已预设为单任务单分片的结构，训练集包含全部50个演示片段。推荐采用行为克隆范式，利用观测中的状态与图像特征对14维动作序列进行回归建模。可视化的回放与数据增强功能可通过LeRobot的DataModule接口实现。由于数据格式兼容HuggingFace Datasets规范，研究者亦可结合Datasets与PyTorch的DataLoader进行自定义批处理与迭代。

背景与挑战

背景概述

该数据集由基于LeRobot框架构建，聚焦于双机械臂协同操作场景下的物体交接任务，具体涉及将盒子从一只机械臂传递至另一只机械臂的精细操作。数据集共包含50个演示片段、11829帧状态数据及150段视频，每条记录均采集了双机械臂各关节角度与夹爪状态（共14维状态与动作空间），辅以背部及左右腕部摄像头提供的多视角视觉信息。此类细粒度关节空间数据集为模仿学习与机器人操作技能的泛化研究提供了关键支撑，尤其在双臂协调与动态物体交接这一前沿领域具有重要价值。数据集采用Apache-2.0许可协议发布，便于学术与工业界广泛使用，推动机器人自主学习技术的发展与评测。

当前挑战

该数据集所解决的领域核心挑战在于双机械臂协同物体交接这一高难度操作任务，要求算法精确建模双臂运动学约束与时空协同，并在仅有单一任务类型（交接盒子）的情况下实现从演示中高效学习操作策略。构建过程中面临的技术挑战包括：多视角视频与关节状态数据的同步采集与标定，确保时间对齐与空间一致性；仅50个演示片段的小样本学习限制，使得策略必须从有限数据中捕捉关键操作模式；双臂14维联合动作空间的高维特性对策略的鲁棒性与泛化能力提出严苛要求，且需同时应对物体位置与姿态的微小变化。

常用场景

经典使用场景

在机器人操作与模仿学习领域中，aloha_handover_box_joint_pos_bc数据集为训练双臂机器人执行精细的物体交接任务提供了标准化的数据资源。该数据集记录了50个完整演示回合，包含近12000帧双臂关节位置序列、多视角视觉观测（背部及左右腕部摄像头）以及动作与奖励信号。其经典使用场景聚焦于基于行为克隆（Behavior Cloning）的双臂协调控制，研究人员可借助该数据驱动模型学习从视觉状态到关节动作的映射关系，尤其适用于研究物体传递过程中双臂的时空协同与力位混合控制策略。

解决学术问题

该数据集有效解决了双臂机器人操作研究中长期存在的演示数据匮乏与动作多样性不足的学术难题。通过提供高精度、多模态的示教数据，它助力学者深入探索模仿学习中的多任务泛化、长时域动作序列建模以及视觉-运动耦合机制。其14维关节空间与多视角视频的同步记录，为研究状态表示学习、数据增强策略及离线强化学习中的分布外泛化问题提供了坚实实验基础，显著推动了双臂机器人从简单抓取向协同操作任务的学术演进。

实际应用

在工业物流与服务业场景中，该数据集驱动的模型可直接赋能机器人完成仓储环境中包裹的传递、质检线上工件的交接以及实验室器材的安全递送。借助行为克隆算法，机器人可学习人类演示中的柔顺操作技巧，避免硬碰撞并提升传递成功率。医疗领域亦能受益于此类技术，例如辅助手术机器人精准传递器械，减少医护人员的感染风险，彰显了数据集在提升自动化系统灵巧性与安全性方面的巨大潜力。

数据集最近研究

最新研究方向

aloha_handover_box_joint_pos_bc数据集聚焦于双臂机器人协同传递操作的模仿学习研究，其联合位置（joint pos）和行为克隆（BC）属性为机器人灵巧操作提供了标准化训练范式。在当前前沿方向中，该数据集被广泛用于探索多模态感知融合与端到端策略学习，尤其通过14维关节空间与三视角视觉输入（背部、左右腕部）的结合，推动了机器人在动态物体交接场景中的精准控制与自适应泛化能力。伴随具身智能热潮，该数据集成为验证注意力机制、扩散策略等先进算法在双臂协同任务中有效性的关键基准，其开源特性显著加速了从仿真到真实世界的技能迁移进程，对降低机器人编程门槛、促进家庭服务与工业协作场景的人机交互具有里程碑意义。