SO101-cap_open_topdrawer_10fps

该数据集包含100个LeRobot v3.0演示片段，针对SO101跟随机器人，任务是抓住顶部抽屉把手并将抽屉拉开约7厘米。数据以10 Hz频率收集，包括成对的顶部视角和手腕视角RGB视频、机器人状态/动作轨迹以及CAP技能标注。数据集采用LeRobot v3.0格式，存储为parquet文件和H.264 MP4视频。它适用于机器人模仿学习、动作分块策略训练、技能条件行为分析以及LeRobot/SmolVLA在指定桌面任务上的可重复实验。数据集具有任务特异性，在固定工作空间中收集，未包含官方验证或测试分割，用户需注意相机校准、动作归一化和任务语言假设的验证。

This dataset contains 100 LeRobot v3.0 demonstration clips for the SO101 following robot. The task is to grasp the top drawer handle and pull the drawer open by approximately 7 cm. Data is collected at 10 Hz, including paired top-view and wrist-view RGB videos, robot state/action trajectories, and CAP skill annotations. The dataset is in LeRobot v3.0 format, stored as parquet files and H.264 MP4 videos. It is suitable for robot imitation learning, action chunking policy training, skill-conditioned behavior analysis, and reproducible experiments with LeRobot/SmolVLA on specified desktop tasks. The dataset is task-specific, collected in a fixed workspace, and does not include official validation or test splits; users need to validate camera calibration, action normalization, and task language assumptions.

原始信息汇总

数据集概述

该数据集是一个用于机器人模仿学习的演示数据集，包含100个SO101从动机械臂的演示片段，任务为抓取顶层抽屉把手并拉开约7厘米。

基本信息

属性	值
数据集名称	SO101 CAP Open Top Drawer
仓库地址	CoRL2026-CSI/SO101-cap_open_topdrawer_10fps
许可证	Apache-2.0
任务类别	机器人学 (Robotics)
标签	LeRobot、SO101、CODE-AS-POLICIES、自动收集、10fps、单臂、双摄像头、技能标注、打开顶层抽屉
LeRobot版本	v3.0
机器人类型	so101_follower
帧率	10 FPS
演示片段数	100
总帧数	29063
任务数	1
数据划分	全部100个片段用于训练
数据集格式	LeRobot v3.0格式（Parquet文件+MP4视频）

任务与标注

• 任务描述：抓取顶层抽屉把手并将抽屉拉开约7厘米。
• 任务索引：0
• 观察到的子任务标注：打开顶层抽屉7厘米
• 代表性技能类型：包含 move_initial、move_and_open、move、gripper_close、move_linear、gripper_open、move_and_close、move_free 等8种技能类型。
• 代表性技能语言标注：包括“移动到初始状态”、“接近抽屉把手并打开夹爪”、“抓住把手并拉开抽屉7厘米”、“释放把手”、“后退并关闭夹爪”、“移动到安全位置”等8个步骤描述。

观测与动作空间

特征	形状	说明
observation.state	6	包含6个关节位置：shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper
action	6	动作空间与状态空间一致，均为6维关节位置控制
observation.images.top	480×640×3	顶部视角RGB视频，10 FPS
observation.images.left_wrist	480×640×3	左腕部视角RGB视频，10 FPS

数据集文件结构

• 元数据文件：meta/info.json、meta/tasks.parquet、meta/episodes/chunk-*/file-*.parquet
• 数据文件：data/chunk-*/file-*.parquet（存储帧级轨迹数据）
• 视频文件：videos/{observation.images.top,observation.images.left_wrist}/chunk-*/file-*.mp4（H.264编码的MP4视频）

标注列

列名	形状	说明
skill.natural_language	1	技能自然语言描述
skill.verification_question	1	技能验证问题
skill.type	1	技能类型
skill.progress	1	技能进度
skill.goal_position.joint	6	技能目标关节位置
skill.goal_position.robot_xyzrpy	6	技能目标机器人位姿
skill.goal_position.gripper	1	技能目标夹爪位置
subtask.natural_language	1	子任务自然语言描述
subtask.object_name	1	子任务对象名称
subtask.target_position	3	子任务目标位置

数据加载示例

python from lerobot.datasets.lerobot_dataset import LeRobotDataset

dataset = LeRobotDataset("CoRL2026-CSI/SO101-cap_open_topdrawer_10fps") sample = dataset[0]

预期用途

该数据集适用于机器人模仿学习、动作分块策略训练、技能条件行为分析，以及在指定桌面任务上基于LeRobot/SmolVLA的可复现实验。

局限性

• 数据集为任务特定且在工作空间固定条件下采集。
• 未提供官方验证或测试集划分。
• 不包含基准成功率评估结果。
• 用户在使用前需验证相机标定、动作归一化及任务-语言假设，当迁移至不同机器人、工作空间或物体集合时需谨慎。