PranayTest/plate_pick_and_drop_bimanual_1

该数据集是一个用于机器人学习的数据集，由LeRobot创建，专门针对双手机器人（AgileX Piper Bimanual）的盘子拾取和放置任务。数据集包含6个完整的episodes，总计2056帧数据，帧率为10fps。数据集中包括机器人状态观测（14个维度，涵盖左右各6个关节和2个夹爪的位置）、动作指令、以及来自前、右、左三个视角的RGB视频（640x480分辨率，3通道）和深度图像（640x480分辨率，uint16类型）。此外，还提供了相机时间戳、时间戳、帧索引、episode索引、任务索引等信息。数据集主要用于训练和评估机器人控制算法，特别是涉及视觉感知和双手机器人操作的任务。This dataset is a robotics dataset created using LeRobot, specifically for the plate pick-and-drop task with a bimanual robot (AgileX Piper Bimanual). It consists of 6 total episodes with 2056 frames at 10fps. The dataset includes robot state observations (14 dimensions covering 6 joints and grippers for both left and right arms), actions, RGB videos (640x480 resolution, 3 channels) and depth images (640x480 resolution, uint16 type) from front, right, and left camera perspectives. Additionally, it provides camera timestamps, timestamps, frame indices, episode indices, and task indices. The dataset is designed for training and evaluating robot control algorithms, particularly for tasks involving visual perception and bimanual manipulation.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，精准的操作数据集对于训练具备泛化能力的智能体至关重要。plate_pick_and_drop_bimanual_1数据集基于LeRobot框架构建，旨在记录双臂机器人完成“盘子拾取与放置”这一精细任务的完整流程。数据集采集自Agilex Piper双机械臂平台，通过遥操作或预设策略驱动，以10帧每秒的采样频率同步记录机器人14维关节状态（包括左右各6个关节及2个夹爪自由度）与对应的动作指令。同时，三台分别置于前方、左侧和右侧的摄像头捕获了640×480分辨率的RGB图像与深度图，并存储为H.264编码的视频流，从而为模仿学习提供高保真的多模态观测数据。全部6个示范轨迹共包含2056个时间步，被划分为训练集使用。

使用方法

该数据集专为基于LeRobot生态的双臂机器人模仿学习任务设计。使用者可通过Hugging Face的`datasets`库直接加载，或利用LeRobot提供的可视化工具预览轨迹。在模型训练环节，典型流程包括：首先从Parquet文件中读取`observation.state`与`action`序列，构建状态-动作对；随后将多视角图像通过预训练视觉编码器（如ResNet或ViT）提取特征，与关节状态拼接形成多模态嵌入。最后，可采用行为克隆（BC）或基于扩散的策略（DP）等算法，以均方误差或扩散损失函数优化策略网络。建议在使用时确保`chunks_size`参数与内存容量匹配，并通过`episode_index`字段进行轨迹级的数据打乱与批处理。

背景与挑战

背景概述

随着机器人学习领域对复杂操作任务的日益关注，双臂协作系统在工业与家庭场景中展现出巨大潜力。plate_pick_and_drop_bimanual_1数据集由PranayTest团队于近期创建，基于LeRobot平台生成，旨在捕捉双臂机器人（型号为Agilex Piper Bimanual）在执行“盘子拾取与放置”任务时的精细动作数据。该数据集共包含6个演示片段、2056帧时序数据，通过多视角摄像头（前、左、右）记录RGB与深度图像，并结合14维关节状态与动作指令（涵盖左右各6个关节及夹爪），为研究双臂协调、物体操控及模仿学习提供了结构化基准。作为开源资源（Apache-2.0许可），它填补了双臂机器人精细化操作领域的高质量数据空白，有望推动机器人从单臂到双臂、从简单抓取到复杂交互的算法演进。

当前挑战

该数据集旨在解决的核心领域问题在于，双臂机器人在执行日常物体转移任务（如拾取并放置盘子）时，需同时协调两个机械臂的运动学、动力学约束以及抓取力控制，这远超单臂操作的复杂度。构建过程中面临多项挑战：首先，需要精确同步多个传感器（三组RGB-D相机与关节编码器）的10Hz时序采样，确保动作与视觉数据在时间上严格对齐；其次，14维动作空间（含夹爪状态）的连续高精度记录对硬件同步和存储方案要求严苛；此外，仅6个演示片段的规模可能限制模型泛化能力，需要设计高效的数据增强或迁移学习策略以弥补样本不足；最后，双臂操作中固有的左右臂干涉避碰与力反馈融合问题，对后续算法提出更高要求。

常用场景

经典使用场景

在机器人操作领域，双机械臂协同作业一直是极具挑战性的研究课题。plate_pick_and_drop_bimanual_1数据集以Agilex Piper双臂机器人为平台，聚焦于“夹取与放置盘子”这一典型的双机械臂协同任务。该数据集包含了6个完整演示片段，共计2056帧时序数据，通过14维关节状态与动作空间（涵盖左右各6个自由度及夹爪控制），同步记录了前、左、右三视角的高清RGB与深度视觉信息。其最经典的使用场景是基于模仿学习的策略训练，研究者可利用数据集中记录的专家演示轨迹，训练深度神经网络模型来学习从视觉观测到关节动作的映射关系，进而实现机器人在未见场景下自主完成盘子夹取与放置的精细化操作。

解决学术问题

该数据集针对双机械臂协同控制中的关键学术难题提供了数据支撑。它有效解决了多视角视觉感知与双臂运动规划之间的耦合问题，特别是当机器人需要同时协调左右手臂完成对称或非对称抓取任务时，如何从高维视觉与状态信息中提取有效的控制策略。数据集中精细标注的关节角度、夹爪开合度以及多视图深度图像，为研究视觉-运动联合表征学习、跨模态特征融合以及时序动作生成等方向提供了基准。这一数据集的发布推动了双机械臂模仿学习从单一夹取任务向更复杂协同操作的演进，其意义在于为构建泛化能力更强的机器人操作模型奠定了实验基础，促进了具身智能领域对于双臂协调机制的深入理解。

实际应用

在实际应用层面，plate_pick_and_drop_bimanual_1数据集所代表的双机械臂协同操作技术，能够直接转化为工业生产线中的自动化物料搬运与装配能力。例如在电子产品组装、食品包装流水线或精密仪器装配场景中，双臂机器人可以基于该数据集训练的模型，安全稳定地完成盘子类薄片物体的拾取、翻转与放置等动作。此外，该数据集所采用的视觉反馈机制（三视角RGB-D相机），使得机器人能够在动态环境中适应物体位置偏移，从而应用于家庭服务机器人的厨房餐具整理、餐饮行业中餐具清洗前的分类堆放等场景。随着训练数据的扩展，这种端到端的模仿学习方案有望降低工业机器人的编程成本，提升操作灵活性与环境适应能力。

数据集最近研究

最新研究方向

在双臂协作机器人领域，该数据集聚焦于餐具类物体的抓取与放置这一精细操作任务，依托Agilex Piper仿人双臂平台和LeRobot开源框架，采集了6个回合、两千余帧的多模态数据。当前前沿研究正借助此类双臂协调数据集，探索模仿学习与强化学习在复杂家庭服务场景中的应用，尤其是如何通过多视角视觉（前、左、右）与深度信息融合，实现非结构化环境下对薄片状物体的稳定抓取。结合热点的人形机器人浪潮，双臂精准操作能力被视为迈向通用家庭机器人的关键里程碑，该数据集为验证人机协作中的力控与轨迹规划算法提供了基准，对推动服务机器人从实验室走向真实居家场景具有深远意义。