dual-arm-plug

该数据集是一个用于机器人研究的双机械臂操作数据集，使用LeRobot工具创建。它记录了机器人执行任务过程中的多模态时序数据，采样频率为50Hz。核心数据内容包括：1）机器人的动作指令与观测状态，均为32维向量，具体包含左、右机械臂末端执行器的三维位置、六维旋转表示、夹爪开合位置，以及左右腕部力/力矩传感器的六维读数（三维力与三维力矩）；2）来自三个固定视角的视觉观测视频流，分别位于左腕、右腕和机器人基座，分辨率分别为512x512和640x480，编码格式为H.264；3）辅助索引信息，如时间戳、帧索引、情节索引和任务索引。数据集规模为20个完整的情节（episodes），共计36033个数据帧，涵盖1个任务。数据以分块的形式存储在Parquet文件中，总大小约为300MB。该数据集适用于机器人模仿学习、强化学习、行为克隆及多模态感知-动作策略学习等研究任务。

原始信息汇总

数据集总览

• 数据集名称: dual-arm-plug
• 任务类别: 机器人学 (robotics)
• 许可证: Apache-2.0
• 创建工具: LeRobot
• 可视化链接: 可视化数据集

数据集结构

• 总任务数: 1
• 总片段数: 20
• 总帧数: 36,033
• 帧率: 50 fps
• 数据文件大小: 约 100 MB
• 视频文件大小: 约 200 MB
• 机器人类型: ros2

特征

动作 (action)

• 数据类型: float32
• 维度: 32
• 包含:
  • 左臂姿态位置 (x, y, z)
  • 左臂姿态旋转6D (r00, r10, r20, r01, r11, r21)
  • 左夹爪开合度
  • 右臂姿态位置 (x, y, z)
  • 右臂姿态旋转6D (r00, r10, r20, r01, r11, r21)
  • 右夹爪开合度
  • 左腕力/力矩 (force x, y, z; torque x, y, z)
  • 右腕力/力矩 (force x, y, z; torque x, y, z)

观测状态 (observation.state)

• 数据类型: float32
• 维度: 32
• 内容与动作特征相同

观测图像 (observation.images)

• 左腕相机 (left_wrist): 分辨率 512×512，3通道，H264编码，50 fps
• 右腕相机 (right_wrist): 分辨率 512×512，3通道，H264编码，50 fps
• 基座相机 (base): 分辨率 640×480，3通道，H264编码，50 fps

其他特征

• 时间戳 (timestamp): float32
• 帧索引 (frame_index): int64
• 片段索引 (episode_index): int64
• 索引 (index): int64
• 任务索引 (task_index): int64

数据划分

• 训练集: 片段 0 到 19（共20个片段）

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，精密装配任务对数据质量与多模态信息提出了严苛要求。本数据集依托LeRobot框架构建，聚焦于双臂协同插拔作业场景，共收录20个完整演示回合，总计36033帧时序数据。数据采集以50帧/秒的采样率同步记录，涵盖了左、右机械臂末端执行器的六维位姿（位置与旋转）、夹爪开合度、以及腕部六维力/力矩信息，同时集成三个视角的高清视觉输入，包括左右腕部摄像头（512×512像素）和基座摄像头（640×480像素），从而构建了一个包含32维动作指令与32维状态观测的多模态数据体系。

使用方法

本数据集可通过LeRobot库便捷地加载与使用。用户首先通过lerobot库的DataProcessingPipeline接口读取Parquet数据文件与H.264编码的视频流，自动整合为统一的时序数据字典。数据集支持直接通过episode_index与frame_index索引访问特定帧的多模态数据，包括动作指令、机器人状态及多视角图像。由于数据已预设为单一训练集拆分，用户可立即将其输入到模仿学习或强化学习流程中，利用所提供的32维连续动作与状态空间以及50Hz的时序同步信息，进行基于视觉或力觉的机器人操作技能学习，无需额外的数据预处理步骤。

背景与挑战

背景概述

双机械臂协作插拔任务（dual-arm-plug）是机器人操作领域一项极具代表性的精细作业场景，其核心研究问题聚焦于如何借助学习范式实现双臂在复杂接触动力学环境下的协同操控。该数据集由研究团队基于LeRobot框架构建，于近期公开发布，旨在为双臂插拔动作的模仿学习与强化学习提供标准化的训练与评估基准。数据集包含了20个演示片段，共计超过三万六千帧的时序数据，通过左右腕部与基座摄像头采集多视角视觉信息，并同步记录双臂末端执行器的位姿、夹爪开合度以及力觉反馈等32维状态与动作信息，为探索高精度接触任务中的感知-运动耦合机制提供了坚实基础。其发布对于推动双臂协作在装配、维护等工业与家庭场景中的自主化应用具有重要价值，有望成为该细分领域的关键参考资源。

当前挑战

该数据集致力于解决双机械臂协同插拔这一领域难题，其核心挑战在于任务本身对高精度定位与柔顺控制的严苛需求。插拔过程中，双臂需在极小的几何容差内完成对齐与插入动作，同时通过力觉反馈实时调整姿态以避免卡死或损坏工件，这对学习算法的泛化性、鲁棒性以及实时响应能力提出了极高要求。在数据集构建层面，挑战同样显著：采集系统需同步协调多台相机（分别布置于左右腕部及基座）与双臂执行器，确保视觉、力觉与运动数据的时间戳严格对齐；此外，仅20个演示片段的数据规模相对有限，如何在数据稀疏条件下高效提取有效的操作先验，并避免过拟合至特定演示策略，是后续研究与模型训练中必须克服的瓶颈。

常用场景

经典使用场景

在机器人学领域，双臂协同操作是极具挑战性的研究方向之一。dual-arm-plug数据集专为双臂插拔任务而设计，通过记录机械臂执行插头与插座精准对接的完整操作过程，为研究双臂协调控制与精细操作提供了宝贵资源。该数据集包含了高帧率（50 FPS）下的多视角视觉观测（包括左腕、右腕和基座摄像头）以及双臂的关节位姿、夹爪状态和力/力矩信息，使其成为训练模仿学习算法、强化学习策略以及双臂运动规划方法的理想基础素材。研究者可利用该数据集开发能够从人类演示中学习复杂双臂操作技能的智能系统，从而推动机器人自主完成电工插接、装配等精密任务的能力提升。

解决学术问题

该数据集有效解决了双臂机器人精细操作领域中高质量训练数据匮乏这一瓶颈问题。在学术研究层面，它帮助学者深入探究双臂协同中的力觉反馈与视觉融合机制，为开发鲁棒性更强的接触状态估计和力控策略提供了实验支撑。通过提供标准化的操作轨迹与环境交互数据，该数据集促进了从单臂到双臂操作范式的理论跃迁，使得研究者得以量化分析双臂间的动态干扰与协调模式。其重要意义在于加速了基于学习的方法在精密装配、医疗器械操作等复杂场景下的落地，为构建可泛化的双臂操作通用模型奠定了数据基础，从而推动了整个机器人操作技能学习领域的科研进展。

实际应用

在实际应用层面，dual-arm-plug数据集所蕴含的双臂插拔能力可直接迁移至工业自动化生产线中的电子元件装配环节，例如手机充电接口或汽车线束的自动插接。基于该数据集训练的机器人系统能够适应不同型号的插头和插座，通过力位混合控制有效避免对接过程中的卡顿或损坏。在智能家居和公共服务领域，该技术可赋能机器人执行充电桩连接、电器插头拔除等日常任务，提升生活便利性。此外，在核设施维护或太空探索等危险环境中，装备了此类技能的双臂机器人可远程完成设备部件的更换与连接，大幅降低人类作业风险，展现出在需要精准力控与视觉伺服结合的复杂操作场景中的广泛应用前景。

数据集最近研究

最新研究方向

在机器人操作领域，双臂协作插拔任务（dual-arm plug）正成为灵巧操作研究的前沿焦点。该数据集围绕高精度力反馈与视觉融合的闭环控制展开，涵盖左右臂六维力/力矩传感及多视角视觉信息，为模仿学习与强化学习提供细粒度的行为表征。当前研究热点集中于利用此类数据集训练双臂协同策略，以应对工业装配中常见的柔顺对接、误差容忍等挑战。结合近期机器人基础模型与大规模示范学习的热潮，该数据集的公开显著推动了从单臂操作到双臂协调与接触力建模的跨越，为复杂制造场景下的自主装配系统奠定了关键数据基础。