3_cube_stacking

该数据集由LeRobot项目创建，是一个机器人学领域的开源数据集，采用Apache-2.0许可证。它主要用于机器人操作任务的研究与开发，包含机器人执行任务过程中的多模态观测数据和控制指令。数据集由151个独立的任务执行片段组成，总计115,398帧数据。每个数据样本包括：机器人的6维关节位置动作指令；机器人本体的6维关节位置状态观测；来自俯视摄像头和腕部摄像头的RGB视频观测，视频分辨率为640x480，帧率为30 FPS，采用AV1编码；以及时间戳、帧索引、片段索引、数据索引和任务索引等元数据。数据以分块形式存储，总数据文件大小约为100MB，视频文件大小约为200MB。数据集目前仅包含训练集，适用于机器人模仿学习、强化学习、视觉-动作映射等任务的研究。Created by the LeRobot project, this open-source robotics dataset is licensed under the Apache-2.0 license. It is primarily designed for research and development of robotic manipulation tasks, and contains multimodal observational data and control commands collected during the robot's task execution. The dataset consists of 151 independent task execution segments, with a total of 115,398 frames of data. Each data sample includes: 6-dimensional joint position action commands for the robot; 6-dimensional joint position state observations of the robot's body; RGB video observations captured by a top-down camera and a wrist-mounted camera, with a resolution of 640×480, a frame rate of 30 FPS, and encoded in the AV1 format; and metadata including timestamps, frame indices, segment indices, data indices, and task indices. The data is stored in chunked files, with a total non-video data file size of approximately 100 MB and a total video file size of around 200 MB. Currently, the dataset only includes a training set, and is applicable to research on tasks such as robotic imitation learning, reinforcement learning, and vision-action mapping.

原始信息汇总

数据集概述

• 数据集名称: 3_cube_stacking
• 许可证: Apache-2.0
• 任务类别: 机器人技术 (robotics)
• 创建工具: LeRobot

数据集结构

• 运行频率 (FPS): 30
• 总片段数 (Total Episodes): 151
• 总帧数 (Total Frames): 115,398
• 总任务数: 1
• 机器人类型: so_follower

功能特征 (Features)

• 动作 (action): 包含6维浮点型数据，对应机械臂6个关节的位置（shoulder_pan.pos, shoulder_lift.pos, elbow_flex.pos, wrist_flex.pos, wrist_roll.pos, gripper.pos）。
• 观测状态 (observation.state): 结构与动作特征相同，同样包含6个关节位置信息。
• 图像观测:
  • overhead相机: 视频格式，分辨率 480x640，3通道，使用AV1编码，30 FPS。
  • wrist相机: 视频格式，分辨率 480x640，3通道，使用AV1编码，30 FPS。
• 时间戳 (timestamp): 浮点型，形状为 [1]。
• 帧索引 (frame_index): 整型，形状为 [1]。
• 片段索引 (episode_index): 整型，形状为 [1]。
• 索引 (index): 整型，形状为 [1]。
• 任务索引 (task_index): 整型，形状为 [1]。

数据划分

• 训练集 (train): 包含全部151个片段（索引 0 至 150）。

文件信息

• 数据块大小: 1000
• 数据文件大小: 约100 MB
• 视频文件大小: 约200 MB
• 数据路径格式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径格式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

其他信息

• 主页: 未提供（待补充）
• 论文: 未提供（待补充）
• 引用: 未提供（待补充）

搜集汇总

数据集介绍

构建方式

3_cube_stacking数据集专为机器人操控任务设计，基于LeRobot框架构建。该数据集通过实际机器人操作采集而成，记录了执行三个立方体堆叠任务时的完整交互数据。采集过程中，机器人末端执行器在6自由度空间内运动，并通过顶置与腕部双视角摄像头以30帧/秒的速率同步录制高分辨率视频（480×640像素），同时以32位浮点数精度记录6维动作指令与对应状态信息，涵盖肩关节旋转、肘部弯曲、手腕屈伸及夹爪开合等关键参数。数据以Parquet格式存储，并按照时间戳、帧索引及回合索引进行结构化组织，最终整合为151个回合、总计115398帧的完整训练集。

特点

该数据集的核心特性在于其多模态融合能力与精细化的任务设计。一方面，它将高频率的动作状态数据与视觉观测数据紧密耦合，为模仿学习与强化学习算法提供了丰富的感知输入；另一方面，数据已按回合分为训练集，并明确标注了任务索引，便于进行单任务或少样本学习实验。此外，数据集采用Apache-2.0开源许可证发布，并通过LeRobot生态支持可视化预览，降低了研究者探索复杂操控行为的学习门槛。

使用方法

使用该数据集时，研究者可直接通过LeRobot库进行加载与处理，利用其内置的DataLoader高效读取parquet格式的动作-状态序列和对应的视频片段。数据集结构清晰，包含action、observation.state、observation.images.overhead与observation.images.wrist等关键字段，适合用于训练机器人策略网络。建议将数据应用于模仿学习（如行为克隆）或基于模型的强化学习方法中，通过复现立方体堆叠过程评估模型对精确操控与多阶段任务建模的能力。

背景与挑战

背景概述

在机器人操作领域，精细堆叠任务（如立方体堆叠）是评估机械臂灵巧操作与感知能力的重要基准。该数据集由rishgang22于近期基于LeRobot框架构建，聚焦于使用so_follower机械臂完成三维立方体堆叠任务。数据集共收集151个示范片段，包含超过11.5万帧高分辨率视频与机器人状态信息，来自顶部与腕部双视角的视觉馈入为模仿学习与强化学习提供了丰富的多模态训练资源。该数据集以Apache-2.0许可证开放，旨在推动机器人操作领域从仿真环境向真实世界迁移的研究进程，为可复现的精细化操作学习研究奠定了数据基础。

当前挑战

该数据集所解决的核心领域挑战在于精细操作中的空间感知与序列决策问题。堆叠任务要求机械臂在六自由度动作空间中精确调控每个关节与夹爪，并依赖视觉反馈实时修正位姿误差，这对现有模仿学习算法的泛化能力构成严峻考验。在构建过程中，数据采集面临高精度动作记录与多传感器同步的难点，30帧每秒的同步频率对硬件与通信协议的要求极高；同时，151个示范片段虽可覆盖基本操作模式，但面对光照变化、方块初始位姿微小偏移等实际干扰时，训练模型可能陷入过拟合，亟需更庞大的多样化数据支持。

常用场景

经典使用场景

在机器人操作领域，积木堆叠任务长期被视为评估精细操作能力的黄金标准。3_cube_stacking数据集专为模仿学习与强化学习算法设计，包含了151个完整示范片段，每个片段以30帧每秒的频率记录了机械臂执行六自由度动作序列，涵盖肩部、肘部、腕部及夹爪的精准控制。同时，数据集中提供了顶置与腕部双视角视觉输入，为多模态感知融合研究提供了理想平台。研究者可借助该数据集的标准化轨迹与状态观测，系统性地训练机器人完成从感知到执行的闭环操作，尤其适用于验证行为克隆、逆强化学习及基于模型的预测控制等经典方法的迁移能力与鲁棒性。

实际应用

在实际工业生产与物流场景中，3_cube_stacking数据集的学术价值映射至仓库分拣、精密装配等自动化需求。基于该数据集训练的模型可直接部署于协作机器人，使其在动态环境中实现毫米级精度的物件重组。例如，机械臂通过顶置摄像头感知堆叠状态，结合腕部视觉反馈实时调整夹爪力控，完成电子元件或小型零件的多层级装配任务。同时，该数据集支持域随机化技术的验证，帮助机器人适应光照变化、遮挡干扰等非结构化条件，从而提升产线柔性。其在教育机器人平台上的应用亦不容忽视，开发者可利用该数据集快速原型化教学演示方案，降低工业级操作系统的开发门槛。

衍生相关工作

围绕3_cube_stacking数据集，学术界已衍生出多项标志性工作。基于该数据集的视觉-动作联合表示学习框架通过跨模态注意力机制，显著提升了策略对视觉扰动的抗干扰能力。另一经典工作则聚焦于动作序列的因果推理，利用时域对比网络从示范中分离出关键决策节点，实现了更透明的策略解释性。此外，该数据集还被用于验证离线强化学习中的保守学习算法，通过在数据分布外约束策略更新，解决了外推误差累积的顽疾。近期，结合扩散模型的生成式方法从该数据集中学习动作分布的过渡态，能够合成未见过的堆叠轨迹，进一步拓展了数据增强的边界。这些工作共同推动了机器人学习从“示教复现”向“认知泛化”的范式跃迁。