manila95/so101-stack-cube-eraser-1

该数据集是使用LeRobot创建的机器人控制数据集，专门用于堆叠立方体和橡皮擦任务。数据集包含7个完整的情节，总计2823帧数据，采样率为30帧/秒。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为200MB。特征包括6维的机器人动作和状态（如肩部平移、肩部提升、肘部弯曲、手腕弯曲、手腕旋转和夹爪位置），以及来自前置摄像头的高清视频观测（分辨率为1080x1920，3通道）。数据集还包含时间戳、帧索引、情节索引和任务索引等元数据，适用于机器人学习和控制研究。This dataset is a robotics control dataset created using LeRobot, specifically designed for stacking cube and eraser tasks. It contains 7 complete episodes, totaling 2823 frames with a sampling rate of 30 frames per second. The data is stored in Parquet format, with a total data file size of 100MB and video file size of 200MB. Features include 6-dimensional robot actions and states (such as shoulder pan, shoulder lift, elbow flex, wrist flex, wrist roll, and gripper positions), as well as high-definition video observations from a front camera (resolution 1080x1920, 3 channels). The dataset also includes metadata such as timestamps, frame indices, episode indices, and task indices, making it suitable for robotics learning and control research.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集是驱动模仿学习与策略泛化的基石。so101-stack-cube-eraser-1数据集由LeRobot框架创建，专注于单任务机器人操作行为记录。其构建过程依托于so_follower型机器人平台，通过人工遥操作或预设演示，采集了7个完整的演示回合，共计2823帧时序数据，涵盖从初始状态到任务完成的完整闭环。数据以分块Parquet格式存储，并辅以MP4视频流，确保结构化状态数据与高分辨率视觉信息的同步对齐。

特点

该数据集的核心特色在于其精细化的多模态融合与标准化封装。动作空间与观测状态均包含6维关节变量（肩关节俯仰/偏转、肘关节屈伸、腕关节屈伸/旋转及夹爪开合），并以32位浮点精度记录，既保证了计算精度又降低了存储冗余。视觉观测采用1920×1080分辨率的前置摄像头，通过AV1编码压缩为30帧/秒的视频流，在保持细节的同时优化了带宽占用。此外，数据集包含精确到毫秒的时间戳与帧索引，便于同步分析，且总数据量仅约300MB，适合快速迭代实验。

使用方法

该数据集专为LeRobot生态设计，旨在简化模仿学习与技能复现的流程。用户可通过LeRobot的API直接加载数据集，利用其内置的DataLoader将动作、关节状态与视觉帧高效映射为模型输入。适用于训练基于策略的神经网络，如扩散策略或Transformer架构，以学习堆叠立方体与擦除橡皮的精细操作技能。数据已被预分为训练集，且提供可视化工具体验数据集内容，方便研究者快速验证模型效果或进行仿真迁移学习。

背景与挑战

背景概述

so101-stack-cube-eraser-1数据集由研究社区基于LeRobot框架构建，专注于机器人操作领域中的堆叠任务，具体为将立方体与橡皮擦等物体进行精准堆叠。该数据集创建于近年，由HuggingFace社区的机器人研究者维护，体现了开放科学与协作精神。其核心研究问题聚焦于通过模仿学习使机器人掌握精细的物体操作技能，为提升机器人在非结构化环境中的灵活性与鲁棒性提供了重要数据支撑。数据集的发布推动了机器人学习领域向数据驱动范式转型，为后续研究提供了可复现的基准与训练素材。

当前挑战

该数据集面临的挑战主要体现在两个方面。在领域问题层面，机器人堆叠操作要求高精度序列规划与力控制，而现有模型常难以泛化至不同物体形状或初始状态，数据集规模较小（仅7个回放片段）更增加了学习通用策略的难度。在构建过程中，数据采集依赖遥操作示教，需确保动作与观测的时空对齐，同时解决视频深度信息缺失及多模态传感器融合的同步问题，形成低成本、高保真的数据流水线仍是关键瓶颈。

常用场景

经典使用场景

在机器人操作与模仿学习领域，so101-stack-cube-eraser-1数据集为机械臂精确操控任务提供了宝贵的训练素材。该数据集聚焦于将方块与橡皮擦进行堆叠这一典型精细操作，通过记录机器人从初始状态到目标状态的完整动作序列，为研究者提供了包含关节角度、末端执行器位姿及高分辨率视觉观测在内的多模态数据。经典使用场景包括利用模仿学习算法如行为克隆或扩散策略，使机械臂学习从视觉输入到动作输出的映射关系，从而复现复杂的堆叠行为。

解决学术问题

该数据集着重解决了机器人操作中从示范学习到泛化执行的学术挑战。传统基于规则或模型的方法难以处理非结构化环境中的精细堆叠任务，而该数据集提供的7条高质量演示轨迹，配合2823帧连续动作与状态记录，使得研究者能够探索少样本模仿学习的有效性。其核心意义在于推动学习型机器人系统在接触式操作中的鲁棒性研究，特别是在面对物体位置偏移或光照变化时，算法能否维持稳定的操作精度，为构建通用操作策略奠定了数据基础。

衍生相关工作

该数据集衍生出的相关工作主要围绕LeRobot生态中的模仿学习框架展开。研究者已基于此数据集开发出混合策略，将扩散模型与行为克隆相结合，提升动作生成的质量与多模态性。此外，数据集中的视觉-动作配对信息催生了关于特征解耦与领域泛化的研究，例如通过跨任务共享表示学习，使模型在仅见少量堆叠示范后，便能适应相同的操作模式。这些工作共同推动了机器人操作从固定程序向数据驱动范式的转变。