so101_stacking_magnetic_cubes

该数据集是一个专门针对堆叠磁性立方体任务的机器人操作数据集，使用LeRobot工具创建。它包含225个训练片段，总计52333帧数据，涵盖2个不同任务，数据采集速率为每秒30帧。每个数据样本包括动作和观测状态，两者均为6维浮点向量，分别对应机器人肩部平移、肩部升降、肘部弯曲、腕部弯曲、腕部旋转和夹爪的位置。观测图像包括两个视角：前视摄像头和腕部摄像头，均为480x640分辨率的三通道RGB视频（编码为av1，像素格式yuv420p）。元数据包括时间戳、帧索引、片段索引、全局索引和任务索引。数据集以Parquet文件格式存储，总数据文件大小约100MB，视频文件大小约200MB，适用于机器人学习、模仿学习、视觉运动控制等研究任务，特别适合多模态观测（状态和视觉）的机器人操作策略训练。This dataset is a robot manipulation dataset specifically designed for the task of stacking magnetic cubes, created using the LeRobot tool. It contains 225 training episodes, totaling 52,333 frames of data, covering 2 different tasks, with data collected at a rate of 30 frames per second. Each data sample includes action and observation state, both as 6-dimensional floating-point vectors corresponding to robot shoulder translation, shoulder elevation, elbow flexion, wrist flexion, wrist rotation, and gripper position. Observation images include two perspectives: a front-view camera and a wrist camera, both as 480x640 resolution three-channel RGB videos (encoded as av1 with pixel format yuv420p). Metadata includes timestamp, frame index, episode index, global index, and task index. The dataset is stored in Parquet file format, with a total data file size of approximately 100MB and video file size of approximately 200MB. It is suitable for research tasks such as robot learning, imitation learning, and visual-motor control, particularly for training robot manipulation strategies involving multimodal observations (state and vision).

原始信息汇总

数据集概述

基本信息

• 名称：so101_stacking_magnetic_cubes
• 许可协议：Apache-2.0
• 任务类别：机器人学 (Robotics)
• 创建工具：LeRobot

数据集结构

• 总集数：225 集
• 总帧数：52,333 帧
• 总任务数：2 个
• 帧率：30 FPS

特征

• 动作 (action)：6维浮点数组，包含机械臂关节位置（shoulder_pan, shoulder_lift, elbow_flex, wrist_flex, wrist_roll）和夹爪位置 (gripper)
• 观察状态 (observation.state)：与动作相同的6维浮点数组
• 图像 (observation.images)：
  • front：前置摄像头，分辨率 480x640，3通道，视频格式 av1，30 FPS
  • wrist：腕部摄像头，分辨率 480x640，3通道，视频格式 av1，30 FPS
• 时间戳 (timestamp)：浮点数，单值
• 帧索引 (frame_index)：整数，单值
• 集索引 (episode_index)：整数，单值
• 索引 (index)：整数，单值
• 任务索引 (task_index)：整数，单值

数据文件

• 数据路径格式：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径格式：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 块大小：1000
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB

分割

• 训练集：索引 0 至 224（共225集）

机器人类型

• 机器人型号：so_follower

搜集汇总

数据集介绍

构建方式

该数据集依托于LeRobot框架构建，专注于机器人堆叠磁性立方体的操作任务。数据集通过真实机器人平台采集获得，记录了机器人从初始状态到完成目标任务的完整交互过程。数据采集频率为30帧每秒，涵盖了225个完整演示片段，共计52333帧图像与状态信息。数据以Parquet格式存储，便于高效读取与处理。

使用方法

数据集适用于基于模仿学习的机器人控制算法训练与评估。用户可通过LeRobot框架内置的数据加载工具，便捷地索引episode、frame及各种特征字段。建议将数据划分为训练集与验证集，利用前置与腕部视觉观测作为输入，结合状态与动作序列，训练端到端的机器人操作策略。数据的分块存储结构也支持大规模分布式训练场景下的高效数据加载。

背景与挑战

背景概述

该数据集由lorenzouttini于近期创建，基于LeRobot框架构建，聚焦于机器人操作领域中的堆叠磁性立方体任务。核心研究问题在于通过模仿学习使机器人掌握精确的抓取与堆叠操作，其数据采集自SO-100系列机械臂，包含225个演示回合和超过52000帧的视觉与状态信息。该数据集为机器人精细操作研究提供了标准化基准，尤其在物体堆叠任务中推动了模仿学习算法的发展。

当前挑战

数据集面临的核心挑战包括：1) 所解决的领域问题——机器人需应对磁性立方体堆叠过程中的精确力控与姿态调整，避免物体滑落或错位，这对仿生操作的鲁棒性提出极高要求；2) 构建过程需克服复杂光照与视角变化对视觉观测的干扰，同时确保多模态数据（图像、关节角度、力矩）的同步性与一致性，且225个回合的有限样本量难以覆盖物体位姿的多样性，可能引发泛化性不足的瓶颈。

常用场景

经典使用场景

在机器人操作与模仿学习领域，so101_stacking_magnetic_cubes数据集被广泛用于训练机械臂执行高精度堆叠任务。该数据集基于SO-100系列机械臂平台，通过LeRobot框架采集了225个示范片段，涵盖5万余帧包含前端与腕部双视角视频、关节状态及动作序列的多模态数据。研究者常以此数据集为基准，验证行为克隆、逆强化学习等算法在精密装配场景中的泛化能力，尤其关注机械臂在六自由度空间中对磁性立方体的抓取、对齐与堆叠策略。

解决学术问题

该数据集系统地解决了机器人精细操作中技能迁移与数据稀缺的学术难题。传统堆叠任务依赖人工设计的运动规划器，难以适应物体形状与位置的变化。通过提供多视角视觉与本体感知对齐的示范数据，研究者可探索端到端策略网络如何从高维观测中提取关键任务特征，并学习鲁棒的闭环控制策略。该数据集推动了对任务层级抽象与运动基元提取的研究，为构建可复用的机器人操作知识库奠定了基础。

实际应用

实际应用中，该数据集支撑了工业装配线自动化与仓储物流领域的智能升级。基于数据集训练的模型能指导机械臂在磁力辅助环境下完成精密电子元件的定位与组装，减少人工编程成本。在零售分拣场景中，模型可适应磁性物品的堆叠规律，提升空间利用率。此外，数据集提供的标准化评估接口使机器人租赁服务商能够快速验证算法在特定物料组合下的堆叠效率，加速原型迭代。

数据集最近研究

最新研究方向

在机器人操作研究领域，该数据集聚焦于学习型机器人灵巧操作的前沿方向，特别是基于视觉与状态观测的精细堆叠任务。数据集以磁性立方体为操作对象，涉及机械臂多关节协同控制与视觉反馈闭环，这一设定紧密关联具身智能领域的热点——从仿真到现实迁移的精准操控能力训练。通过提供高帧率视频流（30fps）与6维动作状态信息，该数据为模仿学习、离线强化学习等算法在复杂接触性任务上的突破提供了基础支持，对于推动工业柔性组装与家庭服务机器人精准操作具有重要影响。