SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1-topcamcrop

该数据集是SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1的衍生版本，所有顶部摄像头图像帧被裁剪到工作区域（包括两个黑色垫子和机器人，去除地板/背景），裁剪矩形在原图640x480中为x=24, y=96, w=592, h=384，裁剪后分辨率为592x384。视频使用原始设置（AV1/SVT-AV1, crf 30, g 2, preset 12, yuv420p）重新编码。数据集包含6个任务，246个episode，共79145帧，机器人类型为so_follower，动作和状态维度为6（包括肩关节、肘关节、腕关节和夹爪位置）。此外，每个episode的第一帧中的目标立方体颜色和起始坐标（在裁剪后的坐标系中）被提取并记录。This dataset is a derivative of SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1. All top camera image frames are cropped to the working area (including two black mats and the robot, removing the floor/background). The cropping rectangle in the original 640x480 image is x=24, y=96, w=592, h=384, resulting in a resolution of 592x384. Videos are re-encoded using original settings (AV1/SVT-AV1, crf 30, g 2, preset 12, yuv420p). The dataset contains 6 tasks, 246 episodes, totaling 79145 frames. The robot type is so_follower, and the action and state dimensions are 6 (including shoulder joint, elbow joint, wrist joint, and gripper position). Additionally, the target cube color and starting coordinates (in the cropped coordinate system) from the first frame of each episode are extracted and recorded.

原始信息汇总

数据集概述：SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1-topcamcrop

基本信息

• 许可证：Apache 2.0
• 任务类型：机器人学（robotics），具体涉及拾放操作（pick-place）和多任务（multi-task）
• 创建工具：使用LeRobot框架创建
• 机器人类型：so_follower

数据集来源与处理

该数据集是 geonmin-kim/SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1 的派生版本。主要处理是对原始数据集中的每个 observation.images.top 帧进行裁剪，聚焦于工作区域（包含两个黑色垫子和机器人，移除了地面/背景）。

关键裁剪参数

• 原始640x480帧中的裁剪矩形：x=24, y=96, w=592, h=384
• 裁剪后顶部相机分辨率：592x384
• 手腕相机（wrist）分辨率保持不变：640x480
• 视频使用原始设置重新编码（AV1 / SVT-AV1，crf 30，g 2，preset 12，yuv420p），帧数和时间戳与源数据集一致
• 重新计算了裁剪帧的统计信息，包括 meta/stats.json 和每个episode的统计信息
• target_cube_start_x / target_cube_start_y 基于裁剪后坐标系（原值减去24/96）

数据集结构

规模信息

• 总episodes数：246
• 总帧数：79145
• 总任务数：6
• 数据文件大小：约100 MB
• 视频文件大小：约200 MB
• 数据划分：全部246个episode用于训练（train: 0:246）
• 帧率：30 fps

特征字段

字段	类型	形状	说明
action	float32	[6]	包含shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper的位置
observation.state	float32	[6]	与action相同的6个关节位置
observation.images.wrist	video	[480, 640, 3]	手腕相机视频，AV1编码，30 fps
observation.images.top	video	[384, 592, 3]	裁剪后的顶部相机视频，AV1编码，30 fps
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	集数索引
index	int64	[1]	索引
task_index	int64	[1]	任务索引

目标立方体初始坐标

在 meta/episodes/chunk-000/file-000.parquet 中，每个episode额外包含三列关于目标立方体在第一帧中位置的信息：

列名	类型	描述
target_cube_color	string	从任务中解析的目标立方体颜色（红色/绿色/蓝色）
target_cube_start_x	float32	立方体在episode第一帧裁剪后顶部相机坐标系中的中心点x坐标（像素）
target_cube_start_y	float32	立方体在episode第一帧裁剪后顶部相机坐标系中的中心点y坐标（像素）

坐标通过颜色分割（RGB比例阈值+OpenCV connectedComponentsWithStats紧凑连通域过滤，仅分析桌面区域y>=96）在原始640x480帧上获取，然后根据裁剪偏移量调整，所有246个检测结果均经过人工视觉验证。

复现脚本

数据集中提供了生成这些坐标的脚本：scripts/detect_target_cube_start_coords.py，可使用以下命令复现：

bash python scripts/detect_target_cube_start_coords.py --root /path/to/dataset --write-parquet

其他说明

• 数据集可在Hugging Face Spaces中通过可视化工具查看
• 引用信息目前暂未提供，论文信息为“[More Information Needed]”