ajaysri/lego_stack_4x4_regular_plus_correction_frontdot_backwrist_lerobot_v3

这是一个用于机器人学习的数据集，专注于UR5机器人配合WSG50夹爪进行Lego积木堆叠任务。数据集通过LeRobot平台创建，包含遥操作和仿真数据。数据集结构包括202个完整episodes，总计80912帧，数据以parquet格式存储，视频文件以mp4格式存储，帧率为20fps。特征数据涵盖：主摄像头和腕部摄像头的视频观察（分辨率160x240，3通道RGB），机器人状态观察（7维浮点数），动作数据（7维浮点数），以及提示文本（字符串）、时间戳、帧索引、episode索引等元数据。数据集主要用于训练和评估机器人控制算法，特别是堆叠任务中的视觉-运动策略学习。This is a dataset for robotics learning, focusing on UR5 robot with WSG50 gripper performing Lego stacking tasks. It was created using the LeRobot platform and includes teleoperation and simulation data. The dataset structure consists of 202 total episodes, with 80912 total frames, stored in parquet format for data and mp4 for video files at 20fps. Features include video observations from main and wrist cameras (resolution 160x240, 3-channel RGB), robot state observations (7-dimensional float32), action data (7-dimensional float32), and metadata such as prompt text (string), timestamp, frame index, episode index, etc. The dataset is designed for training and evaluating robot control algorithms, particularly for visual-motor policy learning in stacking tasks.

搜集汇总

数据集介绍

构建方式

本数据集专为机器人操作任务设计，聚焦于4x4乐高积木的堆叠与校正操作。数据集基于LeRobot框架构建，通过遥操作方式采集UR5机械臂（配备WSG50夹爪）在仿真环境中的执行数据，共收录202个操作轨迹片段，累计帧数达80912帧。每帧数据以parquet格式存储，并由info.json文件统一管理元信息，涵盖机器人类型、数据分片策略及帧率等关键参数，确保了数据组织的高效性与标准化。

特点

数据集的核心特色在于其多模态感知与动作记录的紧密耦合。它同时提供主视角（main）与腕部视角（wrist）的H.264编码视频序列，分辨率均为160x240，帧率20FPS，辅以7维状态向量（observation.state）与7维动作向量（action），完整刻画了机械臂与环境交互的动态过程。此外，每条轨迹还包含自然语言提示（prompt）、时间戳及帧索引等结构化信息，便于后续的时序建模与任务分解研究。

使用方法

使用该数据集时，推荐通过LeRobot库加载parquet文件与对应视频片段。用户可依据提供的data_path和video_path模板定位分片数据，并利用features字段解析各模态张量。默认训练集包含全部202个轨迹，适合直接用于模仿学习或强化学习的模型训练。借助Hugging Face Spaces中的可视化工具，研究者还能直观预览轨迹序列，从而高效评估数据质量或调试算法。

背景与挑战

背景概述

该数据集由ajaysri于2023年基于LeRobot框架创建，聚焦于机器人灵巧操作领域中的积木堆叠任务。核心研究问题在于如何通过遥操作收集高质量演示数据，以训练机器人完成4×4规则排列的乐高积木堆叠，并在此基础上引入修正操作以应对堆叠过程中的微小偏移。数据集采用UR5机械臂与WSG50夹爪，在仿真环境中记录了202个回合、超过8万帧的高频数据，包含主相机与腕部相机的视觉信息以及7维状态与动作序列。作为LeRobot生态的重要贡献，该数据集为模仿学习与机器人技能泛化研究提供了标准化的基准，推动了精细操作任务中数据驱动方法的进展。

当前挑战

在领域问题层面，该数据集应对的挑战在于：积木堆叠任务要求机器人具备毫米级的空间定位精度与姿态调整能力，而传统运动规划方法难以应对堆叠过程中因摩擦、夹爪滑移导致的累积误差，亟需通过大规模演示数据学习鲁棒的修正策略。在构建过程中，遥操作采集面临示范一致性难题：操作员需在无视觉反馈延迟下同步控制夹爪开合与机械臂运动，以保证动作的平滑性；同时，仿真环境的物理参数（如接触刚度、阻尼）与真实场景的差异可能导致策略迁移性能退化，需在数据层级引入多样化噪声以增强泛化能力。

常用场景

经典使用场景

在机器人学习与灵巧操作领域，lego_stack_4x4_regular_plus_correction_frontdot_backwrist_lerobot_v3数据集作为一项面向高精度堆叠任务的仿真遥操作数据集，其经典使用场景聚焦于训练机器人掌握从视觉感知到动作生成的端到端策略。该数据集包含202个演示片段，共计超过八万帧的时序数据，囊括了主视角与腕部相机的视觉观测、机器人关节状态以及对应的7维动作指令。研究者常常将其作为基准，用于验证模仿学习算法（如行为克隆、扩散策略）在复杂装配任务中的泛化能力与鲁棒性，尤其是在需要精确校正与灵巧腕部配合的场景中。

解决学术问题

该数据集旨在攻克机器人领域中长期存在的精细操作技能迁移难题，特别是在非结构化环境中执行多步装配任务时面临的感知-动作闭环控制挑战。它为解决小样本模仿学习中的数据稀缺性问题提供了标准化训练与测试平台，使得学术社区能够系统性地评估不同算法在面对相同物理约束（如积木对齐、抓取姿态修正）时的表现差异。通过公开高质量的遥操作演示数据，该数据集推动了关于任务表示学习、多模态信息融合以及时序动作一致性等核心学术问题的探索，其影响不仅限于堆叠任务本身，更为后续研究复杂机器人操作技能的可泛化学习范式奠定了重要基础。

衍生相关工作

基于该数据集，研究社区衍生出了一系列具有代表性的经典工作。一方面，围绕扩散策略与基于能量的行为模型等先进模仿学习框架，涌现了大量以该数据集为基准的算法改进研究，显著提升了策略在复杂多步任务中的成功率和动作平滑性。另一方面，该数据集催生了关于多视角视觉表示学习的工作，研究者通过融合主相机与腕部相机的观测信息来增强机器人的空间理解与遮挡处理能力。此外，在数据增广与域随机化策略方面，也有诸多成果受其启发，旨在提升仿真训练策略迁移至真实环境时的零样本适应性能，这些衍生工作共同推动了机器人操作智能的边界拓展。