SO101-ma_sort_RGBblock_to_matchingplate_30fps

这是一个使用MA自主前进/重置流水线收集的SO-101机器人数据集，主要任务是将红色、绿色和蓝色的RGB积木块分类到颜色匹配的托盘上。数据集包含100个成功的任务片段，以每秒30帧的速率录制，提供了顶部和左腕RGB摄像头的视频流、机器人状态和动作特征、末端执行器姿态、夹爪状态以及技能和子任务的标注信息。

This is a dataset collected using the MA autonomous forward/reset pipeline for the SO-101 robot. The task involves classifying red, green, and blue RGB blocks into color-matched trays. The dataset contains 100 successful task episodes, recorded at 30 frames per second, and provides video streams from top and left wrist RGB cameras, robot state/action features, end-effector poses, gripper states, and skill/subtask annotations.

原始信息汇总

数据集概述

SO101-ma_sort_RGBblock_to_matchingplate_30fps 是一个用于机器人操作任务的数据集，由 CoRL2026-CSI 团队使用 LeRobot 框架创建。该数据集聚焦于颜色匹配的物体分拣任务。

任务描述

• 核心任务：将红色、绿色和蓝色（RGB）的积木块分拣到颜色匹配的盘子上。
• 数据采集方式：采用自主正向/重置（MA autonomous forward/reset）管线进行数据收集。
• 成功片段：包含 100 个成功执行片段。
• 帧率：30 FPS。

数据集规模

• 总帧数：245,282 帧
• 总任务数：1
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 划分：所有 100 个片段均用于训练（train: 0:100）

传感器与数据模态

数据集提供以下多模态信息：

特征名称	数据类型	描述
observation.state	float32 (6维)	机器人关节位置（肩部、肘部、腕部、夹爪）
action	float32 (6维)	对应的动作指令（与状态维度相同）
observation.images.top	视频 (480x640x3, H264)	顶部 RGB 相机流
observation.images.left_wrist	视频 (480x640x3, H264)	左腕部 RGB 相机流
observation.ee_pos.robot_xyzrpy	float32 (6维)	末端执行器的位置与姿态（x, y, z, roll, pitch, yaw）
observation.gripper_binary	float32 (1维)	夹爪的二元状态
skill.natural_language	string	当前技能的自然语言描述
skill.verification_question	string	技能验证问题
skill.type	string	技能类型标签
skill.progress	float32 (1维)	技能进度
skill.goal_position.joint	float32 (6维)	技能目标的关节位置
skill.goal_position.robot_xyzrpy	float32 (6维)	技能目标笛卡尔位置
skill.goal_position.gripper	float32 (1维)	技能目标夹爪位置
subtask.natural_language	string	子任务的自然语言描述
subtask.object_name	string	子任务涉及的对象名称
subtask.target_position	float32 (3维)	子任务目标位置（x, y, z）
timestamp	float32	时间戳
frame_index	int64	帧索引
episode_index	int64	片段索引
index	int64	全局索引
task_index	int64	任务索引（唯一）

机器人信息

• 机器人类型：so101_follower
• 数据格式：采用 LeRobot v3.0 规范，数据以 Parquet 格式存储，视频以 MP4（H264）格式存储。
• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

许可与来源

• 许可协议：Apache-2.0
• 主办方主页：https://huggingface.co/CoRL2026-CSI
• 论文：待补充