SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1-topcamcrop-fps15

该数据集是基于LeRobot创建的机器人操作数据集，用于多任务拾取和放置。它是从原始数据集geonmin-kim/SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1-topcamcrop（30fps）派生而来，经过两项主要修改：1) 将帧率降采样为15fps，并将每个原始片段拆分为偶数帧和奇数帧两个片段，从而将246个原始片段扩展为492个片段，总帧数保持不变（79,145帧）；2) 对顶部摄像头图像进行裁剪，仅保留工作区域（原始640x480帧中x=24, y=96, w=592, h=384的区域），得到分辨率592x384的顶部摄像头图像。腕部摄像头图像保持不变（640x480）。视频使用原始设置（AV1/SVT-AV1, crf 30, g 2, preset 12, yuv420p）重新编码。数据集中包含动作（6维关节位置）、状态（6维关节位置）、顶部摄像头图像、腕部摄像头图像、时间戳、帧索引、片段索引等特征。此外，每个片段的第一帧提供了目标立方体的起始坐标（target_cube_start_x/y），以裁剪后的顶部摄像头图像像素坐标表示，通过颜色分割和连通分量滤波获得。机器人类型为so_follower。This dataset is a robot manipulation dataset created based on LeRobot for multi-task pick-and-place. It is derived from the original dataset geonmin-kim/SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1-topcamcrop (30fps) with two main modifications: 1) Downsampling the frame rate to 15fps and splitting each original episode into two episodes (even and odd frames), thus expanding 246 original episodes into 492 episodes while keeping the total number of frames unchanged (79,145 frames); 2) Cropping the top camera images to retain only the workspace region (x=24, y=96, w=592, h=384 in the original 640x480 frame), resulting in a resolution of 592x384 for the top camera images. The wrist camera images remain unchanged (640x480). Videos are re-encoded using the original settings (AV1/SVT-AV1, crf 30, g 2, preset 12, yuv420p). The dataset includes features such as actions (6-dimensional joint positions), states (6-dimensional joint positions), top camera images, wrist camera images, timestamps, frame indices, episode indices, etc. Additionally, the first frame of each episode provides the starting coordinates (target_cube_start_x/y) of the target cube, expressed in pixel coordinates of the cropped top camera image, obtained through color segmentation and connected component filtering. The robot type is so_follower.

原始信息汇总

数据集概述：SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1-topcamcrop-fps15

基本信息

• 许可协议：Apache-2.0
• 任务类型：机器人技术（Robotics）
• 标签：LeRobot、SO101、pick-place、multi-task
• 机器人类型：so_follower
• 创建工具：LeRobot

数据规模

• 总片段数：492 个（从 246 个原始片段拆分而来）
• 总帧数：79,145 帧（与源数据集一致，未改变）
• 总任务数：6 个
• 帧率（FPS）：15
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 训练集分割：train 0:492（全部数据）

数据来源与处理

1. FPS 15 奇偶拆分

• 源数据集帧率为 30 fps，经重采样为 15 fps
• 每个原始片段按帧索引奇偶性拆分为两个新片段（偶数帧和奇数帧）
• 原始 246 个片段 → 492 个片段，总帧数不变（79,145）
• 时间戳和视频均重新归一化至 15 fps 网格
• 视频使用 AV1 / SVT-AV1 编码重新构建（crf 30, g 2, preset 12, yuv420p）

2. 顶部相机裁剪

• 源数据集为 geonmin-kim/SO101-lv4-3color-cube-mat-to-mat-no-human-reset-v1
• 对每个 observation.images.top 帧裁剪至工作区域（两个黑色垫子 + 机器人区域）
• 裁剪矩形（原始 640x480 帧）：x=24, y=96, w=592, h=384
• 裁剪后分辨率：592x384
• 手腕相机（observation.images.wrist）保持 640x480 不变

数据特征

动作与状态（6 维）：

• shoulder_pan.pos（肩部旋转）
• shoulder_lift.pos（肩部升降）
• elbow_flex.pos（肘部弯曲）
• wrist_flex.pos（腕部弯曲）
• wrist_roll.pos（腕部旋转）
• gripper.pos（夹爪位置）

图像观测：

相机	分辨率	编码	FPS
observation.images.top	592x384x3	AV1 (yuv420p)	15
observation.images.wrist	480x640x3	AV1 (yuv420p)	15

其他字段：

• timestamp（时间戳，float32）
• frame_index（帧索引，int64）
• episode_index（片段索引，int64）
• index（索引，int64）
• task_index（任务索引，int64）

目标立方体起始坐标

每个片段的元数据中包含 3 个额外列，描述目标立方体在片段第一帧中的位置（在裁剪后的顶部相机 592x384 像素坐标中）：

列名	类型	描述
target_cube_color	string	目标立方体颜色（red / green / blue）
target_cube_start_x	float32	立方体质心 x 坐标（像素）
target_cube_start_y	float32	立方体质心 y 坐标（像素）

• 坐标通过颜色分割（RGB 比例阈值 + OpenCV connectedComponentsWithStats 连接组件滤波）检测获得
• 所有 246 个检测结果均经过人工视觉验证
• 坐标已从原始 640x480 坐标减去裁剪偏移量（24, 96）转换至裁剪后坐标系
• 检测脚本位于仓库中：scripts/detect_target_cube_start_coords.py

数据集可视化

可通过 Visualize Dataset 工具直接在线预览该数据集。