Bperju/so101_cube_pick_place_50_20260530_161044

该数据集是一个机器人操作数据集，专注于立方体拾取和放置任务。它包含17个episodes，总计6883帧数据，采样频率为30帧/秒。数据集记录了机械臂（机器人类型为so_follower）的动作和观察状态，动作包括6个关节位置（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置），观察状态包括相同的关节位置信息。此外，数据集提供了来自顶部摄像头和腕部摄像头的视频观察，视频分辨率为480x640像素，编码为AV1格式，无音频。数据以Parquet文件格式存储，并包含时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集用于训练和评估机器人学习模型，适用于强化学习或模仿学习任务。This dataset is a robotic manipulation dataset focused on cube pick-and-place tasks. It includes 17 episodes with a total of 6883 frames, sampled at 30 frames per second (FPS). The dataset records the actions and observation states of the robotic arm, where the robot type is so_follower. The actions cover 6 joint positions: shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper position, while the observation states contain the same joint position information. Furthermore, the dataset provides video observations from the top-down camera and the wrist-mounted camera, with a resolution of 480×640 pixels, encoded in AV1 format, and no audio tracks. The data is stored in Parquet file format, and contains metadata including timestamps, frame indices, episode indices, indices, and task indices. This dataset is used for training and evaluating robotic learning models, and is suitable for reinforcement learning or imitation learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，聚焦于机器人领域的立方体拾取与放置任务，共包含17个episode，累计6883帧数据。数据采集过程中，机器人被要求执行从指定位置拾取方块并放置至目标区域的重复性操作，每帧记录了6维关节动作指令（action）与对应的6维关节状态观测（observation.state），同时以30FPS的帧率同步采集来自顶部和腕部两个视角的640×480 RGB视频流，为多模态学习提供了丰富信息。

特点

数据集具有鲜明的多模态特点，不仅存储了关节级别的连续控制信号，还整合了高分辨率视觉观测，其中视频采用AV1编码以平衡质量与压缩效率。机器人类型为so_follower，所有数据均属于单一任务类别，训练集与全集重合。动作空间与状态空间维度一致，便于进行模仿学习中的状态-动作映射建模。此外，数据以parquet格式分块存储，视频文件独立管理，整体数据量约300MB，适合作为机器人操作技能学习的基准。

使用方法

用户可通过LeRobot库直接加载该数据集进行训练或评估。典型用法包括：利用`lerobot.Dataset`接口读取parquet文件和视频流，获取同步的观测图像（observation.images.top与observation.images.wrist）及关节状态；将action作为监督信号训练策略网络；或使用LeRobot内置的可视化工具（如HuggingFace Spaces上的演示）检查数据质量。数据集已按episode索引划分，可直接用于行为克隆、扩散策略等模仿学习算法的实验。

背景与挑战

背景概述

so101_cube_pick_place_50_20260530_161044数据集由研究机构基于LeRobot框架创建，聚焦于机器人操作领域的核心任务——方块抓取与放置。该数据集于2026年创建，旨在为机器人模仿学习提供高质量的示教数据，推动机械臂在精准操作环境中的技能迁移与泛化研究。其影响力体现在标准化了多视角视觉与关节状态数据的联合采集流程，为后续机器人控制系统的端到端学习提供了重要基准。

当前挑战

该数据集解决的核心领域问题是机器人在非结构化环境中执行精确抓取与放置操作的泛化能力，尤其是面对不同位置、姿态的方块时，机械臂需实时融合视觉与状态信息生成稳定动作策略。构建过程中的挑战包括：确保多视角图像（顶部与腕部相机）与机械臂六维关节坐标的时序同步；在有限样本量（17个回合、6883帧）下保留动作轨迹的多样性以支撑模型训练；以及处理高帧率（30fps）视频数据与parquet格式特征间的存储与加载效率问题。

常用场景

经典使用场景

在机器人操作研究领域，so101_cube_pick_place_50_20260530_161044数据集围绕经典的方块抓取与放置任务构建，为模仿学习与行为克隆提供了标准化训练与评估平台。该数据集共包含17个完整回合（episode），记录时长约229秒，以30帧每秒的高频采样捕捉了六自由度机械臂末端执行器从定位、抓取到放置方块的全过程动作序列。借助顶部与腕部双视角视觉输入，研究者能够利用多模态观测信息（包含关节位置、速度与力矩数据）训练机器人策略，复现精准的操控行为，从而在可控环境下验证模仿学习算法的有效性。

实际应用

在工业与物流自动化场景中，so101_cube_pick_place_50数据集为机械臂的柔性抓取系统提供了离线训练数据支撑。具体应用包括仓库中的随机箱体分拣、零件装配线上的精密拾取-放置操作，以及协作机器人中的自适应物品搬运任务。基于该数据集训练的模型可直接部署于SO-5系列六轴机械臂，通过顶部视觉识别目标姿态、腕部视觉精调抓取容差，实现每秒30帧实时闭环控制，显著减少传统示教编程的耗时，并提升产线应对多样化工件摆放的鲁棒性。

衍生相关工作

该数据集衍生工作主要集中于四大方向：一是基于视频扩散模型的机器人轨迹生成，利用其AV1编码的高清视觉序列学习时间相干性动作先验；二是多视角融合的3D姿态估计，结合顶部与腕部图像提升遮挡场景下单帧抓取成功率；三是层归一化状态空间的少样本微调框架，利用17回合数据快速适配新物体；四是LeRobot生态下的策略迁移管线，验证了从仿真到真实的任务通用性，相关方法常在机器人学习顶级会议（如CoRL、RSS）中被引为对比基准。