PranayTest/plate_pick_and_drop_bimanual

该数据集使用LeRobot创建，专注于机器人操作任务。具体来说，它涉及一个双手机器人（agilex_piper_bimanual）执行单一任务，包含4个完整情节和1679帧数据。数据集提供了丰富的多模态特征：状态观测（14维浮点数组，对应左右手臂各6个关节和2个夹爪的位置）、动作（相同维度的控制指令）、以及来自三个摄像头（前、左、右）的RGB图像（640x480分辨率，10fps视频格式）和深度图（640x480分辨率，uint16类型）。此外，还包括时间戳、帧索引和情节索引等元数据。数据集适用于机器人学习研究，特别是双臂协调操作和视觉-动作控制任务。This dataset was created using LeRobot and focuses on robotic manipulation tasks. Specifically, it involves a bimanual robot (agilex_piper_bimanual) performing a single task, with 4 total episodes and 1679 frames. The dataset provides rich multimodal features: state observations (14-dimensional float32 arrays corresponding to positions of 6 joints and 2 grippers for each arm), actions (control commands of the same dimension), RGB images from three cameras (front, left, right) at 640x480 resolution and 10fps in video format, and depth maps (640x480 resolution, uint16 type). Additionally, it includes metadata such as timestamps, frame indices, and episode indices. The dataset is suitable for robotics learning research, particularly for bimanual coordination and vision-action control tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，数据集的构建对于模仿学习和策略训练至关重要。plate_pick_and_drop_bimanual数据集基于LeRobot框架创建，旨在记录双臂协作操作任务。该数据集采集自AgileX Piper双机械臂平台，通过高分辨率摄像头（分辨率640×480像素）从前、左、右三个视角同步捕获RGB图像和深度图，同时采集14维机械臂关节状态（包括左右各6个关节自由度及夹爪位置）及对应的动作指令。数据以10帧/秒的频率记录为Parquet格式的表格文件与MP4视频切片，共包含4个完整演示片段（1679帧），所有样本均划分为训练集，并附带时间戳和帧索引等元信息。

特点

该数据集的核心特色在于其多模态感知与高维度控制信号的深度融合。每个时间步均包含三视角RGB图像（前、左、右）及对应深度图，为视觉导航和深度感知提供丰富输入；同时存储了14维关节状态与动作数据，支持从观测到控制的端到端映射学习。数据集的紧凑结构（约300MB存储）与标准化组织方式，使得其易于集成到LeRobot生态中进行策略训练。此外，明确的关节命名规则与视频元信息（如H.264编码、色彩格式）进一步提升了数据的可解释性和跨平台复用性。

使用方法

使用本数据集时，可借助LeRobot库中的数据集加载工具，通过指定配置名'default'自动读取Parquet数据文件和对应时间戳的视频帧。用户可调用数据访问接口遍历每个episode，利用'observation.state'获取机械臂构型信息，从'observation.images'字典中提取多视角图像序列，并配合'action'字段进行模仿学习或行为克隆。该数据结构天然支持差分动作策略，开发者亦可灵活调节chunks_size参数（默认1000帧）以适配不同批处理场景，或利用内置的可视化工具在HuggingFace Space中预览数据样本。

背景与挑战

背景概述

随着双臂机器人技术在智能制造与服务场景中的迅猛发展，精准、安全且高效的双臂协同操作成为机器人学习领域的重要研究方向。plate_pick_and_drop_bimanual数据集由研究团队基于LeRobot框架构建，旨在为双臂机器人完成“盘子拿取与放置”这一典型家居任务提供标准化训练与评估资源。该数据集采用敏捷型双臂机器人平台AgileX Piper Bimanual，采集了4段完整任务轨迹，共计1679帧数据，涵盖了关节角度、夹爪状态及多视角视觉图像（前、左、右RGB与深度图）。数据集以Apache-2.0协议开源，填补了双臂协同精细操作任务中数据稀缺的空白，为模仿学习、强化学习及行为克隆算法在双臂机器人场景下的研究提供了重要的基准支持，推动了机器人学习在家庭服务领域的实用化进程。

当前挑战

核心领域挑战在于双臂机器人协同搬运平面物体时面临的动态稳定性控制与碰撞规避问题。当夹具接触薄板状物体（如盘子）时，双臂负载分布不均极易导致物体倾斜或滑落，同时机器人自身关节运动学约束与工作空间交叠增加了碰撞风险。在数据集构建过程中，挑战同样突出：首先，高质量数据采集依赖精确的示教复现，仅有的4段任务轨迹暴露出样本量与任务覆盖度的不足。其次，多模态数据同步（14维关节状态、三视角视频与深度图）要求严格的时序对齐，而10Hz的低采样帧率难以捕捉快速变化的接触事件。此外，200MB视频与100MB结构化数据在存储与标注上缺乏统一规范，增大了后续模型泛化训练与任务迁移的难度。

常用场景

经典使用场景

在机器人学与模仿学习领域，plate_pick_and_drop_bimanual数据集专为双臂协作操作任务设计，其经典使用场景聚焦于“拾取与放置”这一基础但关键的作业流程。该数据集依托AgileX Piper双臂机器人平台，通过多模态传感器（包括前、左、右三视角的RGB相机与深度相机）同步采集了14维关节状态与动作指令，涵盖了从抓取到释放的完整操作轨迹。研究者可借此训练机器人理解双臂协同的时空动态，学习如何协调左右机械臂与夹爪完成餐盘类物体的平稳搬运。该场景尤为适用于验证行为克隆、逆强化学习及基于扩散策略的模仿学习算法，在受控环境中评估模型对精细力控与避碰策略的泛化能力。

实际应用

在工业自动化与家庭服务机器人领域，该数据集开辟了从实验室仿真走向现实部署的桥梁。其典型的实际应用场景涵盖餐厅中的餐具回收、厨房台面的盘碟整理以及工厂流水线上轻质零件的双臂协同分拣。借助多视角视觉输入，机器人系统能够动态感知物体姿态与环境遮挡，在非结构化空间中稳健地执行“拾取-运输-放置”循环。同时，14维动作空间的精细控制使夹爪力度与臂部轨迹得以精准协调，尤其适用于易碎物品的柔性操作。这些应用不仅降低了人力成本，还通过端到端学习范式减少了传统编程控制的繁琐性，加速了新一代灵巧操作机器人在物流、家政与服务业中的商业落地。

衍生相关工作

以plate_pick_and_drop_bimanual数据集为基石，衍生了一系列推动双臂操作智能化的重要工作。研究社区基于其标准化的动作-观测对格式，开发了适用于双机械臂的预训练视觉-运动表征模型，如结合Transformer架构的跨模态表示学习框架。此外，该数据集催生了针对“部分可观测性”的鲁棒控制策略研究——即利用深度图像与RGB视频的融合，在夹爪未完全贴合时推理物体位姿。相关工作还包括从有限演示中提炼多任务技能的元学习算法，以及应用于安全交互的奖赏函数逆推方法。这些成果不仅反哺了数据集本身的标注效率与扩展性，也为构建持续学习的家居服务机器人系统奠定了方法论基础。