rishgang22/single_lego_pick_place_final_v1

该数据集由LeRobot创建，专注于机器人拾放任务，具体为单乐高积木的拾取和放置。数据集包含301个episode，总计115377帧，帧率为30fps。数据特征包括：6维浮点动作（肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置），6维浮点观测状态（与动作相同），以及两个摄像头视频观测——俯视摄像头（overhead）和腕部摄像头（wrist），分辨率均为480x640，3通道RGB。元数据还包括时间戳、帧索引、episode索引等。机器人类型为so_follower，数据以parquet和视频文件格式存储，用于训练机器人控制模型。This dataset was created using LeRobot and focuses on robotic pick-and-place tasks, specifically for single Lego brick manipulation. It consists of 301 episodes with a total of 115,377 frames at 30 fps. Features include: 6-dimensional float32 actions (shoulder pan position, shoulder lift position, elbow flex position, wrist flex position, wrist roll position, gripper position), 6-dimensional float32 observation states (same as actions), and two camera video observations—overhead and wrist cameras, both with 480x640 resolution and 3 RGB channels. Metadata includes timestamps, frame indices, episode indices, etc. The robot type is so_follower, and data is stored in parquet and video files for training robotic control models.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精细抓取与放置任务一直是研究的热点与难点。本数据集专为单块乐高积木的拾取与放置任务设计，借助LeRobot框架构建而成。数据采集过程由一台SO系列跟随机器人（so_follower）执行，通过远程操控或预设策略记录下机械臂从初始位置抓取积木并精确放置到目标位置的全过程。数据以30帧每秒的帧率采集，共包含301个完整操作回合（episodes），总帧数达115,377帧，并统一划分为训练集。原始数据以Parquet格式存储，视觉观测信息则编码为高品质AV1视频文件，存储于独立视频目录中。

特点

该数据集最大的特点在于其多模态、高精度的传感器融合记录。特征空间不仅包含机械臂6个关节（肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转及夹爪开合）的位置状态与动作指令，还同时收录了来自头顶视角与腕部视角的两路高清RGB视频流（分辨率480×640，3通道），为模仿学习与行为克隆算法提供了丰富的视觉-状态-动作映射对。此外，数据集内含精确的时间戳、帧索引与任务索引，便于时序建模与任务拆解。整体数据量压缩后约300MB，兼具实用性与便携性。

使用方法

使用者可借助LeRobot库便捷地加载与可视化该数据集。推荐通过Hugging Face提供的交互式可视化工具直观观察各episode中机械臂的动作序列与视觉信号。在训练阶段，可将动作指令（action）作为监督信号，结合观测状态（observation.state）与图像（observation.images.overhead、observation.images.wrist）构建端到端的策略网络。数据遵循Apache-2.0开源协议，支持灵活的商业化与学术研究用途。具体加载示例可参考LeRobot官方文档中的Dataset类接口，支持按episode索引或按帧遍历，兼容常见的深度学习训练框架。

背景与挑战

背景概述

single_lego_pick_place_final_v1 数据集诞生于机器人操控领域对精细化抓取与放置任务的迫切需求，由研究团队基于 LeRobot 平台构建，旨在解决单一乐高积木的精准拾取与放置这一基础但极具代表性的操控问题。该数据集记录了机器人执行拾放任务的完整过程，包含 301 个回合、超过 11 万帧的时序数据，并提供了六维关节状态与双臂（顶部及腕部）的视觉观测信息。其发布为机器人学习中的模仿学习、行为克隆等算法提供了标准化训练基准，推动了精细操作任务从仿真环境向真实场景的迁移，对于评估机器人灵巧操控能力具有重要参考价值。

当前挑战

该数据集所解决的领域问题核心在于实现机器人对小型物体的高精度拾放操作，这一任务面临物体定位偏差、抓取姿态不稳定及环境干扰等多重挑战。在构建过程中，研究者需克服传感器噪声导致的视觉与状态数据不同步问题，同时确保机器人末端执行器在抓取薄小乐高时的成功率与一致性。此外，数据采集的规模化与场景多样性亦是难点——单一任务（仅含一个任务类型）限制了模型的泛化能力，而 200 MB 的视频文件量级则对高效的数据存储与加载提出了技术性要求。

常用场景

经典使用场景

在机器人学习与操控领域中，单乐高积木拾放任务因其对精密操作与空间推理的需求，成为评估机械臂自主抓取能力的理想基准。该数据集通过采集301个示范轨迹，每个轨迹包含机械臂六关节状态、腕部与顶部视角的双路视觉流，以及对应的连续动作序列，为模仿学习、行为克隆及逆强化学习等范式提供了标准化的训练资源。研究者可基于此数据集训练模型，使机器人学会从视觉观测中推理出抓取点、调整夹爪姿态并完成稳定放置，尤其适用于研究稀疏奖励环境下的精确操作策略。

实际应用

在实际工业与消费级场景中，该数据集训练的模型可部署于小型协作机器人，执行如电子元件分拣、药瓶封装或教育类积木拼装等轻量级精细任务。由于数据采集自标准的So-Follower机械臂，其六维动作空间与常见桌面机器人高度兼容，便于迁移至实际产线。借助视觉引导的拾放能力，系统能适应工件位置偏差与光照变化，实现柔性生产中的自适应抓取，大幅降低人工示教成本与编程复杂度。该数据集亦可作为软体夹爪或灵巧手操作研究的对照基准，促进实验室成果向智能仓储、家庭服务等场景转化。

衍生相关工作

该数据集衍生出多项经典工作，涵盖基于Transformer的决策架构如ActFormer将输入图像与状态编码为全局特征，通过因果注意力生成动作序列；扩散策略（Diffusion Policy）则利用扩散模型逐步降噪轨迹分布，显著提升了多峰行为建模的稳定性。此外，基于该数据集的隐式行为克隆方法通过能量函数建模动作分布，在更少示范样本下达到同等性能。研究者还进一步发展了数据增强技术，如时序裁剪与视觉扰动，以提升模型对未见过初始构型的泛化能力。这些工作共同推动了机器人学习向样本高效、鲁棒泛化的方向发展。