pick-cube-so101

Pick-Cube SO-101 是一个针对 SO-101 机械臂精心设计的遥控抓取-放置数据集，包含 440 个完整的操作片段（episodes），任务目标为“抓取方块并将其放入盒子中”。其核心设计理念是通过系统性的数据采集，覆盖抓取操作中的关键变量：抓取覆盖范围、机械臂到达深度以及手腕角度。数据由六个有序的数据块（tranches）构成：前两个数据块（episode 0-119）分别在 25 厘米和 15 厘米深度上，以离散的五个目标角度（0°, ±45°, ±90°）进行采样；后续数据块则引入了不同程度的放置位置抖动（jitter）和手腕扭转（顺时针与逆时针），以增加抓取角度和位置的多样性，从而填补工作空间中的空白并提升数据的变异性。数据记录使用了配对的 SO-101 主从机械臂，以 30 fps 的频率遥控操作，并同步采集了三个相机视角（顶部、腕部、侧面，分辨率 480×640）的图像，以及 6 自由度关节（从 shoulder_pan 到 gripper）的位置状态（以度为单位）。该数据集适用于机器人操作学习，特别是抓取与放置策略的模仿学习或强化学习研究。数据集构建基于 LeRobot 框架。Pick-Cube SO-101 is a meticulously designed remote control grasping-placement dataset for the SO-101 robotic arm. It contains 440 complete operation episodes, with the task objective of grasping a cube and placing it into a box. The core design philosophy is to systematically cover key variables in grasping operations: grasp coverage, robotic arm reach depth, and wrist angle. The data is composed of six ordered tranches: the first two tranches (episode 0-119) sample at depths of 25 cm and 15 cm, respectively, with discrete target angles (0°, ±45°, ±90°); subsequent tranches introduce varying degrees of placement position jitter and wrist twist (clockwise and counterclockwise) to increase the diversity of grasp angles and positions, thereby filling gaps in the workspace and enhancing data variability. Data recording uses paired SO-101 master-slave robotic arms, operated remotely at 30 fps, with synchronized capture of images from three camera perspectives (top, wrist, side, resolution 480×640) and position states (in degrees) of 6-degree-of-freedom joints (from shoulder_pan to gripper). This dataset is suitable for robotic operation learning, particularly for imitation learning or reinforcement learning research on grasping and placement strategies. The dataset construction is based on the LeRobot framework.

原始信息汇总

数据集概览：Pick-Cube SO-101

• 许可证: Apache-2.0
• 任务类别: 机器人技术 (robotics)
• 任务标签: LeRobot, so101, pick-place, manipulation
• 数据集名称: Pick-Cube SO-101

数据集描述

这是一个精心构建的、基于遥操作的抓取与放置数据集，运行在 SO-101 机械臂上。数据集包含 540 个 episoded，任务为“抓住立方体并放入盒子中”。其设计特点是系统性地变化抓取方式的 覆盖范围、到达深度、腕部角度 和 场景杂乱程度。

数据集构成

数据集按录制顺序分为七个批次（tranche）：

展示 (Episodes)	批次名称	描述
0–49	离散 @ 25 cm	在 25 cm 深度处，5 个目标角度（0°，±45°，±90°），每个角度 10 个演示
50–69	密集抖动	20 个演示，集中在右侧 45°，带有 ±2 cm 的放置抖动
70–119	离散 @ 15 cm	在 15 cm 近端深度处，相同的 5 个角度，每个角度 10 个演示
120–239	覆盖抖动	120 个演示，分布在整个工作空间
240–339	逆时针扭转腕部抖动	100 个演示，腕部逆时针扭转，用于增加抓取角度变化
340–439	顺时针扭转腕部抖动	100 个演示，腕部顺时针扭转，与前一批次镜像
440–539	干扰物抖动	100 个覆盖式样式的演示，工作空间内包含 1-3 个干扰物体

抓取分布

数据集通过可视化展现了每个 episode 的抓取位置（在工作空间半圆盘上的位置，环代表从肩关节轴的到达距离，径向线代表目标角度）和腕部偏航角（箭头指向）。红色箭头突出显示了当前批次在完整数据集中的位置。干扰物批次的图中还标注了该 episode 中干扰物的数量。

录制细节

• 机器人: SO-101 遥操作主从臂对，以 30 fps 进行录制。
• 摄像头: 三个视角：
  • camera1: 顶部视角
  • camera2: 腕部视角
  • camera3: 侧面视角 (分辨率 480×640)
• 状态/动作: 6 自由度关节位置（从 shoulder_pan 到 gripper），单位为度。
• 任务: “抓住立方体并放入盒子中。”

训练模型

基于该数据集（前 340 个 episode，截至逆时针扭转批次）微调的 SmolVLA 策略，在真实机械臂上达到了 89% 的抓取成功率 (72/81)，并且在不同到达深度上表现均衡。相关模型为：dobri420/pick-cube-smolvla-so101。一个基于全部 540 个 episode（共 256 万样本，批量大小为 96）训练的模型正在进行真实机械臂评估。

使用方法

python from lerobot.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("dobri420/pick-cube-so101") print(ds.num_episodes, ds.num_frames) # 540 ...

该数据集基于 LeRobot 构建 (codebase_version: v3.0)。

搜集汇总

数据集介绍

构建方式

该数据集基于SO-101机械臂的遥操作构建，专注于“抓取立方体并放入盒子”这一基础操作任务。整个数据集包含540个演示片段（episode），按照系统化的实验设计划分为七个区块（tranche），依次变化抓取覆盖范围、到达深度、腕部角度及场景杂乱程度。每个区块对应特定的抓取变量组合，例如离散角度与固定深度搭配、密集抖动或左右旋腕配置，以及加入干扰物以模拟复杂环境。数据以30帧每秒的速率采集，同步记录三视角摄像头画面与6自由度关节状态信息，所有数据以Parquet格式存储。

特点

该数据集的突出特点在于其刻意编排的变量覆盖策略，系统性地枚举了抓取位置、腕部偏航角度与场景杂乱程度的关键组合，赋予模型在有限演示数据中学习泛化能力的机会。每个区块的抓取分布通过正运动学可视化呈现，清晰展示了从离散聚集到连续覆盖、从无干扰到不同程度干扰物的渐进复杂度提升。此外，预训练SmolVLA策略在该数据集上实现了89%的真实抓取成功率，平衡了不同到达深度的表现，验证了其在强化机器人操控泛化性方面的实用价值。

使用方法

该数据集兼容LeRobot框架，用户可通过`LeRobotDataset`接口直接加载，调用`ds = LeRobotDataset("dobri420/pick-cube-so101")`即可获取全部540个演示范例及其对应的帧序列。数据集配置文件支持按需访问特定区块或维度的子集，便于进行渐进式训练或消融实验。研究者可以分别提取离散区块、扭腕区块或引入干扰物区块进行对比测试，也可将完整数据集用于端到端策略的预训练或微调。同时，三视角图像数据与关节状态动作信息的标准化格式，使得该数据集能够无缝接入各类模仿学习与强化学习工作流。

背景与挑战

背景概述

Pick-Cube SO-101数据集由研究者于2024年构建，聚焦于单臂机器人抓取与放置操作任务。该数据集基于SO-101机械臂，通过遥操作采集540个示范片段，系统性地变化抓取覆盖率、深度、腕部角度及场景杂乱度，旨在探索技能泛化能力。其核心研究问题在于如何通过结构化数据覆盖提升机器人策略在真实环境中的鲁棒性。基于该数据集训练的SmolVLA策略在真实机械臂上达到了89%的抓取成功率，验证了数据多样性与任务性能的正向关联，为机器人操作学习领域提供了可复用的基准资源。

当前挑战

该数据集面临的挑战包括：1) 所解决的领域问题——机器人抓取策略在真实场景中的泛化能力不足，尤其是面对不同腕部角度、目标深度和场景杂乱时，模型需从有限演示中学习到鲁棒的行为模式。2) 构建过程中的挑战——为平衡数据采集效率与多样性，研究者需设计七组精细化的示范分布，从离散角度到连续扰动，并引入干扰物，同时确保遥操作数据的高质量与一致性，避免引入噪声导致策略学习偏差。

常用场景

经典使用场景

在机器人操作领域，Pick-Cube SO-101数据集专为仿人机械臂的抓取与放置任务而设计，尤以SO-101机械臂为实验平台。该数据集精心构造了540个演示片段，系统性地变化了抓取的覆盖范围、到达深度、手腕角度以及场景杂乱程度，为研究从离散目标抓取到复杂场景下的鲁棒操作提供了丰富的训练素材。经典的使用场景包括训练视觉-语言-动作策略模型（如SmolVLA），以学习在多变条件下的精准抓取与放置行为，从而在真实机械臂上实现高达89%的抓取成功率。

解决学术问题

该数据集解决了机器人操作研究中因实验条件单一导致模型泛化能力不足的学术问题。通过引入覆盖不同角度、深度和手腕姿态的七个数据分段，以及带有干扰物的杂乱场景，Pick-Cube SO-101使得策略学习能够系统性地应对抓取位置偏移、手腕扭转和非目标物体干扰等常见挑战。其意义在于推动了从结构化演示到鲁棒策略迁移的桥梁建设，为评估和提升操作模型在真实世界中的适应性提供了标准化基准。

衍生相关工作

基于Pick-Cube SO-101数据集，研究者已成功微调出SmolVLA策略模型，在前340个演示片段上训练后，在真实SO-101机械臂上实现了89%的抓取成功率，且在不同到达深度下表现均衡。该工作验证了在精心设计的数据集上，小规模的视觉-语言-动作模型也能通过系统性的数据覆盖来学习泛化性强的操作技能。进一步的衍生工作还包括在完整540片段上训练的模型评估，为探索数据规模、抓取多样性对操作策略性能的影响提供了实证基础。