SO101-cap_sort_RGBblock_to_matchingplate_10fps
收藏SO101 CAP RGB 积木颜色匹配分拣数据集
数据集概览
该数据集包含 100 个由 SO101 跟随机器人执行的分拣任务的演示片段，任务目标是将红、绿、蓝三色积木放置到对应颜色的盘子中。数据以 10 Hz 频率采集，包含俯视与腕部 RGB 双视角视频、机器人状态/动作轨迹以及 CAP (Code-as-Policies) 技能标注。
- 仓库地址:
CoRL2026-CSI/SO101-cap_sort_RGBblock_to_matchingplate_10fps - LeRobot 版本: v3.0
- 机器人类型:
so101_follower - 帧率: 10 FPS
- 片段数: 100
- 总帧数: 87223
- 任务数: 1
- 数据划分: 0–100 片段为训练集
- 物体: 红、绿、蓝色积木；对应颜色的盘子
- 数据文件: 3 个 Parquet 文件，12 个视频文件
任务与标注
任务描述: 将红、绿、蓝三色积木分拣到对应颜色的盘子上。
任务索引: 0
观测到的子任务标注（共计 3类）:
- 将蓝色积木分拣到蓝色盘子
- 将绿色积木分拣到绿色盘子
- 将红色积木分拣到红色盘子
代表性技能类型（共 7类）:
- move_initial（移动到初始位置）
- move_and_open（移动并打开夹爪）
- move（移动）
- gripper_close（闭合夹爪）
- gripper_open（张开夹爪）
- move_and_close（移动并闭合夹爪）
- move_free（自由移动）
代表性技能‑语言标注示例:
- Move to initial position
- Approach blue block and open gripper
- Pick up blue block
- grasp blue block
- Lift blue block
- Move blue block above blue plate
- Place blue block on blue plate
- release object on blue plate
- Retreat from blue plate and close gripper
- Move to initial position for re-detection
- Approach green block and open gripper
- Pick up green block
观测与动作空间
| 特征 | 维度 | 说明 |
|---|---|---|
observation.state |
6 | 肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置 |
action |
6 | 肩部旋转、肩部抬升、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置 |
observation.images.top |
480×640×3 | 俯视 RGB 视频，10 fps |
observation.images.left_wrist |
480×640×3 | 左腕 RGB 视频，10 fps |
说明: 原始相机键为 observation.images.top 和 observation.images.left_wrist。本地 SmolVLA 训练脚本会分别将其映射为 observation.images.camera2 和 observation.images.camera1。
文件结构
meta/info.json meta/tasks.parquet meta/episodes/chunk-/file-.parquet data/chunk-/file-.parquet videos/{observation.images.top,observation.images.left_wrist}/chunk-/file-.mp4
数据集采用 LeRobot v3.0 格式。片段元数据和帧级轨迹存储在 Parquet 文件中；图像观测以 H.264 MP4 视频形式存储，由帧记录引用。
标注列
| 列名 | 维度 |
|---|---|
skill.natural_language |
1 |
skill.verification_question |
1 |
skill.type |
1 |
skill.progress |
1 |
skill.goal_position.joint |
6 |
skill.goal_position.robot_xyzrpy |
6 |
skill.goal_position.gripper |
1 |
subtask.natural_language |
1 |
subtask.object_name |
1 |
subtask.target_position |
3 |
加载方式
python from lerobot.datasets.lerobot_dataset import LeRobotDataset
dataset = LeRobotDataset("CoRL2026-CSI/SO101-cap_sort_RGBblock_to_matchingplate_10fps") sample = dataset[0]
预期用途
本数据集适用于机器人模仿学习、动作分块策略训练、技能条件行为分析，以及基于 LeRobot/SmolVLA 的桌面分拣任务可复现实验。
局限性
- 数据集针对特定任务，在固定工作空间内采集。
- 未提供官方验证集或测试集，也未包含基准成功率结果。
- 下游用户需自行验证相机标定、动作归一化及任务‑语言假设，方可迁移策略至不同机器人、工作空间或物体集合。
