manila95/so101-stack-cube-eraser-2

该数据集是一个机器人操作数据集，使用LeRobot工具创建，专门针对stack-cube-eraser任务（堆叠立方体和橡皮擦）。数据集包含50个完整的情节（episodes），总计16062帧，帧率为30 fps。数据以parquet文件和MP4视频格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。机器人类型为so_follower，特征包括：动作空间（6个浮点数，表示肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、状态观测（与动作相同的6个关节位置）、前端摄像头图像观测（480x640分辨率、3通道RGB视频），以及时间戳、帧索引、情节索引等元数据。数据集仅包含训练分割，适用于机器人控制和模仿学习研究。This dataset is a robotic manipulation dataset created using the LeRobot tool, specifically for the stack-cube-eraser task (stacking cubes and erasers). It contains 50 complete episodes with a total of 16,062 frames at 30 fps. The data is stored in parquet files and MP4 video format, with a total data file size of 100 MB and video file size of 200 MB. The robot type is so_follower, and features include: action space (6 float values representing shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), state observation (same 6 joint positions as actions), front camera image observation (480x640 resolution, 3-channel RGB video), and metadata such as timestamp, frame index, episode index. The dataset only includes a training split and is suitable for robotics control and imitation learning research.

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专注于机器人操作任务的模仿学习。数据集源自实际机器人操作场景，由so_follower型号机器人执行堆叠立方体和橡皮擦的单一任务，共采集50个完整轨迹片段，累计16062帧数据。数据以分块Parquet格式存储，并配备同步录制的视频文件，确保时间序列与视觉信息的精确对齐。所有数据均遵循Apache-2.0开源许可协议，便于学术研究与工业应用。

特点

数据集的显著特色在于其高频率与多模态特性，以30帧每秒的速率同步记录机械臂6自由度关节状态、末端夹持器位置及正面摄像头画面。视觉信息采用640×480分辨率的AV1编码视频，兼具高质量与压缩效率。数据集合训练与验证为一体，无需额外划分，并标准化了动作空间与观测空间的命名体系，极大简化了从原始数据到策略模型的转换流程。

使用方法

数据集的使用可通过LeRobot工具链高效完成，用户利用其可视化界面即可交互式浏览轨迹。推荐采用Hugging Face Datasets库加载Parquet文件，结合LeRobot的数据加载器进行批处理。针对模仿学习任务，可将action字段作为策略输出，observation.state与observation.images.front作为输入，构建端到端模型。数据集默认以1000帧为分块单元，便于分布式训练与内存管理。

背景与挑战

背景概述

在机器人学习领域，模仿学习因其能够从专家演示中高效习得复杂技能而备受关注。so101-stack-cube-eraser-2数据集由研究人员基于LeRobot框架构建，创建于机器人操作任务研究的活跃时期，旨在为机械臂堆叠立方体与橡皮擦的精细操作提供标准化训练数据。数据集包含50个完整演示片段，总计超过16000帧，以30帧/秒的高频记录机械臂6自由度关节状态与视觉观测，为从单一任务中学习精准操控策略奠定了基础。其采用Apache-2.0许可证开放，便于学界复现与扩展研究，对于推动机器人模仿学习在物体堆叠与操作场景中的应用具有重要意义。

当前挑战

该数据集所解决的领域问题核心在于机器人精细操作与物体堆叠的模仿学习挑战，需从高维视觉和低维关节观测中提取稳健的动作策略，以应对任务中立方体与橡皮擦形状、质心的差异导致的抓取与堆叠不稳定性。构建过程中则面临数据采集的精准控制难题，包括确保机械臂轨迹的一致性、减少传感器噪声对状态估计的干扰，以及仅依赖单视角前方摄像头捕捉完整操作过程，可能引入遮挡和深度信息缺失的风险。此外，有限的50个演示片段虽简单聚焦，却对模型的泛化能力提出更高要求，挑战在于如何利用小样本数据习得可迁移的策略。

常用场景

经典使用场景

在机器人学习与模仿学习领域，so101-stack-cube-eraser-2数据集被广泛用于训练机械臂执行精准的堆叠操作。该数据集记录了50个完整演示回合，包含超过16000帧的高质量观测数据，每个回合均完整捕获了从初始状态到目标堆叠完成的动作序列。研究者和工程师常利用这些数据训练基于视觉的运动策略，通过前视摄像头采集的480×640图像序列，结合六维关节状态信息，使机器人学会如何将积木与橡皮等物体有序堆叠。这一场景成为验证模仿学习算法在处理精细操作任务中效果的标准测试平台。

实际应用

在智能仓储与工业自动化领域，so101-stack-cube-eraser-2数据集代表的精细堆叠技能具有直接的应用价值。基于该数据集训练的机器人可以从事零件分拣、包装整理、电子产品装配等需要精确空间感知和力控制的重复性工作。结合LeRobot等开源框架，企业能够快速部署具备迁移学习能力的操作方案，使机器人仅凭借少量示范即可适应不同尺寸和材质的物体堆叠任务，显著降低了工业场景中针对特定操作定制编程的时间与人力成本。

衍生相关工作

该数据集催生了一系列围绕高效模仿学习与策略迁移的经典研究工作。基于其标准化的动作空间和状态表征，研究者提出了Diffusion Policy等生成式模仿学习架构，在保持操作流畅性的同时提升了多模态感知下的鲁棒性。此外，针对该数据集中触发的复合操作场景，部分工作探索了层级化模仿范式，将复杂堆叠分解为抓取、搬运、对齐和释放等子技能，并通过元学习实现快速适配。这些衍生成果不仅深化了对机器人精细操作学习机制的理解，也为构建通用操作智能体奠定了数据和理论基石。