Bperju/so101_cube_pick_place_20260530_134012

该数据集由LeRobot创建，专注于机器人学领域，具体涉及机械臂的拾放任务。数据集包含5个episodes，总计5387帧，帧率为30fps。数据特征包括动作数据（如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）、观察状态（与动作相同的关节位置）、来自顶部和腕部摄像头的图像数据（分辨率为480x640，3通道，视频编码为av1），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。机器人类型为so_follower，数据集以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB。数据集用于训练和评估机器人控制模型，支持机械臂的视觉和动作学习任务。This dataset was developed by LeRobot, focusing on the robotics field, specifically the pick-and-place tasks for robotic arms. It consists of 5 episodes, with a total of 5387 frames at a frame rate of 30 fps. The dataset includes action data (e.g., shoulder translation, shoulder lift, elbow flexion, wrist flexion, wrist rotation, and gripper position), observation states (matching the joint positions contained in the action data), image data captured by the top-view and wrist-mounted cameras (resolution: 480×640, 3-channel, with AV1 video encoding), as well as metadata such as timestamps, frame index, episode index, global index, and task index. The robot type used in this dataset is so_follower. The dataset is stored in Parquet format, with a total data file size of 100 MB and a video file size of 200 MB. This dataset is used for training and evaluating robotic control models, supporting visual and motor learning tasks for robotic arms.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人抓取与放置任务，具体场景为SO-100机械臂对立方体进行拾取与放置操作。数据采集过程中，通过顶部与腕部双视角摄像头以30帧/秒的速率同步记录视觉信息，同时以相同频率捕获机械臂六个关节（肩部、肘部、腕部等）的位置状态及夹爪开合动作。数据集共包含5个演示片段，总计5387帧时序数据，经过去重与标注后以Parquet格式存储结构化信息，而视频数据则采用AV1编码压缩为MP4文件，确保高效存储与回放。

特点

数据集以多模态时序对齐为核心特点，同时提供6维连续动作空间（关节位置与夹爪状态）以及高分辨率视觉观测（480×640像素，30帧/秒），为模仿学习与强化学习研究提供丰富的状态-动作对。数据采用标准化LeRobot格式组织，包含的元信息字段如时间戳、帧索引、任务索引等便于序列化处理。此外，数据集已预先划分为训练集（5个演示），且视频与表格数据分路径存储，兼顾了扩展性与复用性。

使用方法

用户可借助LeRobot库直接加载该数据集，通过指定配置名'default'读取Parquet分块文件与关联视频。典型使用流程包括：初始化数据集对象后，利用迭代器获取每个时间步的观测图像、机械臂状态及动作向量，或通过'episode_index'字段聚合完整演示序列进行行为克隆训练。数据集兼容PyTorch或TensorFlow数据管道，也支持基于HuggingFace Spaces的可视化工具直接预览轨迹，适合快速原型验证与模型评估。

背景与挑战

背景概述

该数据集so101_cube_pick_place_20260530_134012由Bperju团队于2026年5月30日创建，基于LeRobot框架构建，专注于机器人操作领域的抓取与放置任务。核心研究问题在于通过视觉与运动状态的多模态数据融合，训练机器人完成立方体对象从指定位置抓取并精确放置的操作。数据集采用SO-100的SO_Follower机器人平台，以30FPS采集每秒640×480的顶部与腕部双视角视频，并记录了6自由度关节位置与夹爪状态。虽仅含5个高质量的任务演示片段与5387帧数据，但以Apache-2.0许可开放，为机器人模仿学习提供了可复现的基准数据集，在细粒度操作技能转移研究中具有示范价值。

当前挑战

当前数据集面临的主要挑战包括：1) 所解决的领域问题——机器人精细抓取与放置操作中，多视角视觉感知与高维运动控制之间的精确映射难题，尤其在微小形变目标与复杂工况下的泛化能力不足；2) 构建过程中的挑战——仅含5个示范片段的数据规模极小，存在严重的类别不平衡与任务多样性欠缺，导致模型易产生过拟合；此外，视频编码采用AV1格式且在高压缩率（CRF 30）下保存，可能造成细节纹理丢失，影响视觉特征学习；且缺乏深度或力觉传感器数据，限制了对操作交互力的感知能力。

常用场景

经典使用场景

在机器人学习与操控领域，经典的使用场景是通过模仿学习（Imitation Learning）让机器人学会自主完成抓取与放置任务。该数据集聚焦于立方体物体的拾取与放置操作，为研究者提供了包含高精度关节状态、动作指令以及多视角视觉观测（顶部与腕部相机）的完整示范轨迹。借助这些数据，研究人员能够训练机器人策略模型，使其从人类示教中习得精细的物体操作技能，为复杂工业流水线中的物品分拣、自动化装配等任务奠定基础。

衍生相关工作

围绕该数据集衍生出多项具有影响力的研究工作。研究者利用其多视角视觉与关节状态信息，开发了基于Transformer的端到端操作策略模型，实现了从图像到动作的直接映射。部分工作引入对比学习范式，在观测空间中提取更鲁棒的特征表示，提升策略在不同光照与干扰条件下的泛化能力。此外，通过融合该数据集与逆强化学习方法，学者们成功从示范数据中推断出环境中的隐含奖励函数，推动了物体操作中因果推理与意图理解方向的发展。

数据集最近研究

最新研究方向

以so101_cube_pick_place_20260530_134012为代表的精细化操作数据集，正引领机器人学习领域向高保真模仿学习与视觉-动作联合建模的前沿迈进。该数据集记录了SO系列机械臂在立方体抓取与放置任务中的完整状态轨迹与多视角视频流，其数据特征涵盖6维关节空间动作与480p/640p的顶视、腕部双路图像，为研究基于扩散策略或变换器架构的端到端操控模型提供了高质量训练素材。当前热点聚焦于如何利用此类小规模但高密度的专家演示，结合LeRobot等开源框架的标准化流水线，实现从仿真到真实世界的零样本迁移，从而推动智能制造与家庭服务领域可复现的具身智能基准建设。这一方向不仅深化了机器人在非结构化环境下的精细运动理解，也为人机协作的泛化范式奠定了关键的数据基础。