SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1

该数据集是基于LeRobot格式的机器人数据集，包含SO101机器人在多任务场景下的拾取放置操作，共有6个任务和246个示范片段，总帧数79145帧。数据包含机器人关节动作和状态、腕部摄像头和顶部摄像头的视频图像，以及目标立方体的起始位置信息。This dataset is a robot dataset in LeRobot format, containing pick-and-place operations of the SO101 robot in multi-task scenarios. It includes 6 tasks and 246 demonstration episodes with a total of 79145 frames. The data includes robot joint actions and states, video images from wrist and top cameras, and the initial position of the target cube.

原始信息汇总

数据集概述

该数据集名为 SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1，由用户 geonmin-kim 创建，主要用于机器人操作任务，具体涉及**拾取与放置（pick-place）场景，属于多任务（multi-task）**数据集。

基本信息

• 许可证：Apache 2.0
• 任务类别：机器人（Robotics）
• 标签：LeRobot、SO101、机器人、拾取-放置、多任务
• 创建工具：该数据集使用 LeRobot 框架创建。

数据集结构

• 数据格式：Parquet 文件（存放于 data/*/*.parquet），同时包含 AV1 编码的视频文件。
• 总集数（Episodes）：246
• 总帧数（Frames）：79,145
• 总任务数（Tasks）：6
• 数据划分：训练集包含全部 246 个 episode（train: 0:246）。
• 采样频率（FPS）：30
• 机器人类型：so_follower

数据特征（Features）

每条数据包含以下特征：

特征名	数据类型	形状	说明
action	float32	[6]	机械臂关节位置指令（肩部旋转、肩部俯仰、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）
observation.state	float32	[6]	机器人当前关节状态（与动作空间一致）
observation.images.wrist	视频	480×640×3	腕部摄像头图像（RGB，AV1 编码，30 FPS）
observation.images.top	视频	480×640×3	顶部摄像头图像（RGB，AV1 编码，30 FPS）
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集数索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

附加标注信息

该数据集在 meta/episodes/chunk-000/file-000.parquet 中额外提供了每个 episode 中目标立方体的起始坐标信息，这些坐标基于每个 episode 的第一帧顶部摄像头图像（640×480 像素坐标系）检测得到：

列名	数据类型	描述
target_cube_color	string	目标立方体颜色（红/绿/蓝），从任务中解析
target_cube_start_x	float32	第一帧中目标立方体质心的 x 坐标（像素）
target_cube_start_y	float32	第一帧中目标立方体质心的 y 坐标（像素）

坐标通过颜色分割（RGB 比例阈值 + OpenCV 连通域滤波）获得，仅考虑桌面区域（y ≥ 96），所有 246 个检测结果均经过人工视觉验证。重现该标注的脚本位于数据集仓库中的 scripts/detect_target_cube_start_coords.py，可通过命令行运行。