SO101-cap_stack_RGBblock_on_bluedish_10fps

该数据集包含100个LeRobot v3.0演示片段，针对SO101跟随机器人。任务是：从底部到顶部将红色、绿色和蓝色积木堆叠在蓝色盘子上。数据集以10赫兹频率收集，包括配对的俯视图和腕部视图RGB视频、机器人状态/动作轨迹以及CAP技能注释。

原始信息汇总

数据集概述

该数据集由 CoRL2026-CSI 发布，面向机器人模仿学习与技能条件行为分析，专注于一个桌面堆叠任务。

基本信息

• 仓库地址: CoRL2026-CSI/SO101-cap_stack_RGBblock_on_bluedish_10fps
• 许可证: Apache-2.0
• 机器人类型: SO101 从动臂（SO101 Follower Robot）
• 数据格式: LeRobot v3.0
• 采样频率: 10 Hz（10 fps）
• 总集数: 100 个演示片段
• 总帧数: 87,074 帧
• 任务数量: 1 个任务
• 数据划分: 全部 100 集用于训练（split: 0:100 train）
• 文件组成: 9 个 Parquet 文件，20 个视频文件

任务与标注

• 主要任务: 将红色、绿色和蓝色方块从下到上堆叠在蓝色碟子上。
• 子任务标注（观察到的）:
  • 拿起红色方块并放在蓝色碟子上
  • 拿起绿色方块并放在红色方块上
  • 拿起蓝色方块并放在绿色方块上
• 代表性技能类型:
  • move_initial, move_and_open, move, gripper_close, gripper_open, move_and_close, move_free
• 代表性技能语言标注:
  • 移动到初始状态；接近红色方块并打开夹爪；拿起红色方块；抓取红色方块；抬起红色方块；将红色方块移到蓝色碟子上方；将红色方块放在蓝色碟子上；在蓝色碟子上释放物体；从蓝色碟子后退并闭合夹爪；接近绿色方块并打开夹爪；拿起绿色方块；抓取绿色方块

观测与动作空间

特征	形状	名称/说明
observation.state	6	肩部偏转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪位置
action	6	肩部偏转、肩部升降、肘部弯曲、腕部弯曲、腕部滚动、夹爪位置
observation.images.top	480x640x3	顶部俯视角RGB视频，10 fps
observation.images.left_wrist	480x640x3	左侧腕部视角RGB视频，10 fps

• 原始相机键: observation.images.top 和 observation.images.left_wrist
• 本地SmolVLA训练映射: 分别映射为 observation.images.camera2 和 observation.images.camera1

文件结构

meta/info.json meta/tasks.parquet meta/episodes/chunk-/file-.parquet data/chunk-/file-.parquet videos/{observation.images.top,observation.images.left_wrist}/chunk-/file-.mp4

• 元数据和帧级轨迹存储在 Parquet 文件中；图像观测以 H.264 编码的 MP4 视频形式存储，由帧记录引用。

标注列

列名	形状
skill.natural_language	1
skill.verification_question	1
skill.type	1
skill.progress	1
skill.goal_position.joint	6
skill.goal_position.robot_xyzrpy	6
skill.goal_position.gripper	1
subtask.natural_language	1
subtask.object_name	1
subtask.target_position	3

加载方式

python from lerobot.datasets.lerobot_dataset import LeRobotDataset

dataset = LeRobotDataset("CoRL2026-CSI/SO101-cap_stack_RGBblock_on_bluedish_10fps") sample = dataset[0]

预期用途

• 机器人模仿学习
• 动作分块策略训练
• 技能条件行为分析
• 基于LeRobot/SmolVLA的桌面堆叠任务可重复实验

局限性

• 任务特定，在固定工作空间内采集
• 未提供官方验证或测试划分
• 不包含基准成功率结果
• 迁移策略至不同机器人、工作空间或物体集时，用户需验证相机标定、动作归一化及任务语言假设