chomeed/ai_worker_board_handover_all_and_dagger_arm_only_success

该数据集是一个机器人操作数据集，使用LeRobot框架创建。它包含222个总episodes和101642个总frames，以30fps录制。数据以parquet格式存储，包括视频文件。数据集的结构特征包括：观察状态（38维浮点数，表示左右机械臂的7个关节位置和左右夹爪的12个关节位置）、动作（16维浮点数，控制左右机械臂的7个关节和左右夹爪）、以及来自三个摄像头的图像观察：头部摄像头（分辨率720x1280，3通道）、左腕摄像头（分辨率240x424，3通道）和右腕摄像头（分辨率240x424，3通道）。所有视频使用av1编解码器，无音频。此外，还包括时间戳、帧索引、episode索引等元数据。数据集适用于机器人学习和控制任务，如手部交互操作，但具体任务描述未在README中明确提及。This dataset is a robotic manipulation dataset created using the LeRobot framework. It contains a total of 222 episodes and 101642 frames, recorded at 30fps. The data is stored in parquet format, including video files. The dataset structure features include: observation state (38-dimensional float32, representing joint positions for left and right arms with 7 joints each and left and right grippers with 12 joints each), action (16-dimensional float32, controlling left and right arms with 7 joints each and left and right grippers), and image observations from three cameras: head camera (resolution 720x1280, 3 channels), left wrist camera (resolution 240x424, 3 channels), and right wrist camera (resolution 240x424, 3 channels). All videos use the av1 codec with no audio. Additionally, metadata such as timestamp, frame index, and episode index are included. The dataset is suitable for robot learning and control tasks, such as hand interaction operations, though specific task descriptions are not explicitly mentioned in the README.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，采用遥操作与DAgger算法相结合的方式采集机械臂操作数据。具体而言，原始数据经由人工演示与策略修正过程生成，其中DAgger（数据集聚合）方法通过迭代式地收集策略执行过程中的状态并请求专家标注，逐步扩充训练样本，最终仅保留成功完成交接任务的情节（arm-only success），形成包含222个回合、101642帧的标准化机器人操作数据集。

使用方法

研究者可借助LeRobot官方提供的可视化工具在线浏览数据集内容，并通过HuggingFace数据集库直接加载parquet格式的数据文件。数据按训练集划分，所有222个回合均用于模型训练，用户可基于observation.state、action及多视角视频流构建模仿学习或强化学习算法，亦可利用timestamp与episode_index等元信息进行时序分析或分段处理，从而推动机器人交接任务的研究与复现。

背景与挑战

背景概述

在具身智能与机器人操作学习领域，高质量示范数据的稀缺长期制约着双臂协同任务的研究进展。该数据集由LeRobot框架构建，于2024年前后发布，核心研究问题聚焦于双臂机器人在板件交接场景中的精细化操作，涵盖222个演示回合、逾十万帧30fps的多视角视觉与本体感知记录，并创新性地融合了DAgger在线纠正策略。其问世为双臂交接任务提供了标准化基准，有力推动了模仿学习与交互式学习在工业装配场景中的落地探索。

当前挑战

该数据集所应对的领域问题在于双臂交接过程中高维连续动作空间与接触丰富动力学带来的策略学习困难。构建过程中面临多重挑战：双臂与多指夹爪的38维本体状态同16维动作空间的精确同步与标定；DAgger策略下人类纠正动作与自主执行轨迹的分布对齐及成功样本筛选；多视角视频流（头部与双腕）的高效编解码与帧级时间戳一致性保障。上述因素共同构成了数据采集与模型泛化的核心难点。

常用场景

经典使用场景

在具身智能与机器人操作学习领域，双臂协同的物体交接任务长期被视为检验精细运动规划与实时视觉反馈融合能力的试金石。该数据集依托LeRobot框架构建，汇聚了222个成功演示回合、逾十万帧的同步多视角视频流（头部全局视图与左右腕部特写）及38维本体状态与16维关节动作序列，为模仿学习与离线强化学习提供了标准化、高保真的训练语料。其最经典的使用场景在于训练双臂机器人于板件交接场景中完成从感知对方位姿、协调双臂轨迹到稳定释放的端到端策略，尤其借助DAgger式成功样本的聚合，显著增强了策略在接触密集阶段的鲁棒性。

解决学术问题

该数据集直面机器人学习研究中演示数据稀缺与分布偏移两大核心难题。传统行为克隆易因复合误差在交接阶段产生累积漂移，而本数据集通过聚集多轮DAgger交互中的成功轨迹，有效缓解了策略对专家状态的过度依赖，为研究离线策略评估、鲁棒模仿学习及多模态感知融合提供了可控实验平台。其意义在于将双臂交接这一高维连续控制问题转化为可复现、可量化的基准任务，推动了从单臂拾放到双臂协同操作的研究范式迁移，并为后续工作评估策略泛化性与样本效率奠定了数据基础。

实际应用

在实际生产环境中，该数据集所支撑的策略可直接服务于工业装配线上的部件传递、仓储物流中的包裹协同搬运以及服务机器人的人机协作交接等场景。双臂系统通过头部与腕部视觉的协同感知，能够实时适应目标物体的位姿变化与操作空间的动态约束，从而在非结构化环境中完成柔顺交接。其成功演示样本中蕴含的接触力调节与轨迹修正模式，为开发低故障率、高节拍的自动化交接系统提供了可迁移的运动先验，尤其适用于需兼顾效率与安全的人机共融产线。

数据集最近研究

最新研究方向

在具身智能与机器人操作学习领域，示教数据的规模化与多样性始终是制约策略泛化能力的核心瓶颈。该数据集聚焦于双臂协同的板材交接任务，采用DAgger（数据集聚合）范式，仅保留成功演示轨迹，旨在缓解模仿学习中复合误差累积问题。其前沿方向在于探索人机协作场景下的高精度手眼协调与双臂交接技能学习，借助多视角视觉观测与关节状态融合，推动基于视觉的运动策略在工业装配与物流分拣等热点场景中的落地。该数据集为离线强化学习与模仿学习的融合研究提供了高质量的成功轨迹样本，对提升双臂系统在非结构化环境中的作业鲁棒性具有重要参考意义。