Louislerikiki/pick_and_drop_merged_v1

该数据集是一个用于机器人任务的双手机器人数据集，专门针对抓取和放置操作。它包含4个episodes，总共2268帧数据，帧率为30fps。数据集记录了双手机器人（类型为bi_openarm_follower）的动作和观察状态，包括左右机械臂的16个关节位置（作为动作），以及48个状态特征（如关节位置、速度和扭矩）。此外，数据集提供了两个视角的视频观察：上方视角（up）和侧面视角（side），视频分辨率为480x640，编码格式为av1。数据以parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集适用于机器人学习和控制任务的研究。This dataset is a bimanual robot dataset for robotic tasks, specifically focusing on pick and drop operations. It contains 4 episodes with a total of 2268 frames at 30fps. The dataset records actions and observation states of a bimanual robot (type: bi_openarm_follower), including 16 joint positions for both right and left arms (as actions), and 48 state features (such as joint positions, velocities, and torques). Additionally, the dataset provides video observations from two perspectives: an overhead view (up) and a side view (side), with video resolution of 480x640 and av1 codec format. The data is stored in parquet files, with a total data file size of 100MB and video file size of 200MB. The dataset is suitable for research in robot learning and control tasks.

搜集汇总

数据集介绍

构建方式

在机器人学习领域，高质量数据集是推动行为克隆与模仿学习算法发展的核心基石。pick_and_drop_merged_v1数据集依托于LeRobot框架构建，旨在为双臂机器人操作任务提供标准化训练资源。该数据集通过双机械臂协同操作场景进行采集，涵盖4个完整轨迹回合，共计2268帧时序数据，记录频率为每秒30帧。数据以parquet格式存储物理量信息，并同步保存分辨率为640×480的顶部与侧面双视角视频流，采用AV1编码压缩以确保画质与存储效率的平衡。

特点

该数据集具备鲜明的结构化特征，其动作空间包含16维连续控制信号，精确映射了左右各7个关节的位置指令与双夹爪开合状态，充分满足多自由度协同控制需求。观测状态空间则扩展至48维，深度融合了关节位置、速度与力矩的物理量，为动力学建模提供丰富输入。多模态数据设计使模型能够同时利用视觉感知与本体感觉信息，提升策略在复杂操作场景中的泛化能力与鲁棒性。

使用方法

数据集与主流的深度学习框架高度兼容，用户可借助LeRobot生态中的标准加载器直接读取parquet格式的状态数据与视频序列。针对模仿学习任务，研究者可将动作、观测图像及状态信息对齐为时序样本，构建端到端的策略网络。数据已预设训练集划分，便于快速开展模型训练。建议结合数据增强与归一化技术处理多模态特征，以充分发挥其在双臂抓取与放置任务中的潜力。

背景与挑战

背景概述

在机器人学习领域，模仿学习与示教学习一直被视为赋予机器人复杂操作能力的关键途径。pick_and_drop_merged_v1数据集由研究者Louislerikiki创建，依托于Hugging Face的LeRobot框架，专注于双机械臂协同操作任务。该数据集以Apache-2.0许可发布，面向机器人操控中的“拾取与放置”基础技能，通过记录双机械臂（bi_openarm_follower）在30帧每秒下的关节状态、动作指令与多视角视觉信息（上视角与侧视角），为从真实示教中学习精细操控提供了标准化数据资源。其核心研究问题在于如何通过少量高质量演示（4个片段、2268帧）驱动机器人习得可泛化的双臂协调行为，对推动低成本、可复现的机器人学习实验具有重要价值。

当前挑战

该数据集所应对的领域挑战集中在双机械臂协同操控的模仿学习难题，例如如何从有限演示中捕捉双臂之间的时空依赖关系、解决高维关节空间（16维动作与48维状态）与视觉观测的非线性映射，以及将单任务演示泛化至不同物体位置与姿态的场景。构建过程中的挑战亦不容忽视：一方面，数据采集需确保机械臂轨迹的平滑性与多视角视频的同步性，以维持环境干扰下的数据质量；另一方面，仅有4个片段的极少样本设置对数据保真度与代表性提出严苛要求，难以平衡演示的多样性，同时压迫着模型在欠约束条件下的泛化能力，使得从数据到策略的转化充满阻力。

常用场景

经典使用场景

该数据集专为双臂机器人操作任务设计，经典使用场景聚焦于“拾取与放置”这一基础而核心的机器人操作范式。通过记录双臂协同作业过程中机械臂各关节的位置、速度、力矩以及夹爪的状态数据，并结合来自顶部和侧方的视觉图像信息，该数据集为模仿学习与行为克隆算法提供了高保真的演示轨迹。研究者可借助这些数据训练机器人模型，使其学会精准抓取物体并在空间中完成转移与释放的动作序列，从而在实验室环境中复现流畅、自然的双臂协同操作能力。

实际应用

实际应用中，该数据集可直接用于训练工业或服务机器人执行拾取与放置任务。例如，在仓储物流场景中，机器人需将分拣台上的物品准确放置到指定容器内；在家庭服务环境中，机器人需完成物品整理或餐桌布置等操作。得益于数据集在LeRobot框架下的标准化格式，开发者可便捷地将其应用于实际机器人的策略部署与行为克隆微调，从而缩短从仿真训练到真实场景部署的周期。此外，数据中的多视角视觉信息也有助于机器人适应不同光照和背景条件下的抓取需求。

衍生相关工作

该数据集衍生了一系列与双臂机器人技能学习相关的经典研究工作。基于LeRobot生态，研究者可将其作为预训练数据，结合扩散策略、Transformer架构或对比学习方法，探索跨任务的动作泛化能力。相关工作可能包括：利用该数据集验证行为克隆在双臂操作中的鲁棒性；将其与仿真数据混合以提升策略的样本效率；或将数据集作为微调基准，对比不同模仿学习算法在高维连续动作空间上的性能差异。这些工作共同推动了机器人学习领域从单一任务专家向多任务通才模型的演进。