Lego-Color-Sorting

该数据集是一个用于机器人学习的数据集，专门针对双机械臂控制任务，使用LeRobot工具创建。数据集包含6个完整的情节（episodes），总计4256帧数据，涉及1个具体任务。机器人类型为starpilot_yam_gripper。数据集特征包括：动作数据（14维浮点数组，表示两个机械臂的位姿和抓取器宽度）、观测状态数据（32维浮点数组，包括两个机械臂的编码器角度、IMU加速度和角速度、位姿坐标和四元数、抓取器开合状态和距离），以及多个摄像头的视频观测数据（包括左腕摄像头RGB图像、左腕摄像头深度图像、右腕摄像头RGB图像、右腕摄像头深度图像、基座摄像头RGB图像等，分辨率分别为480x640或768x1024，帧率30fps）。数据以parquet格式存储，视频为mp4格式，总数据量约100MB，视频文件约200MB。数据集适用于机器人控制、模仿学习或强化学习研究。

This dataset is designed for robotic learning research, specifically targeting dual-arm robotic manipulation control tasks, and was created using the LeRobot toolkit. The dataset contains 6 complete episodes, totaling 4256 frames, focused on one specific task. The robotic platform used is the starpilot_yam_gripper. The dataset includes the following data modalities: 1. Action data: a 14-dimensional floating-point array representing the poses and gripper widths of the two robotic arms; 2. Observation state data: a 32-dimensional floating-point array, which includes the encoder angles of the two robotic arms, IMU linear acceleration and angular velocity, pose coordinates and quaternions, as well as the opening/closing status and separation distance of the grippers; 3. Multi-camera video observations: including RGB and depth images from the left wrist camera, right wrist camera, and base camera, with resolutions of 480x640 or 768x1024 and a frame rate of 30 fps. The tabular data is stored in Parquet format, while the video files are in MP4 format. The total data volume is approximately 100 MB, with the video files accounting for about 200 MB. This dataset is applicable to research in robotic control, imitation learning, and reinforcement learning.

原始信息汇总

数据集概述：Lego-Color-Sorting

基本信息

• 数据集名称：Lego-Color-Sorting
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot
• 创建工具：LeRobot

数据集规模

• 总片段数：6 个（episodes）
• 总帧数：4256 帧
• 总任务数：1 个任务
• 帧率：30 FPS
• 数据文件大小：100 MB
• 视频文件大小：200 MB
• 分割：训练集包含全部 6 个片段（train: 0:6）

机器人类型

• 机器人型号：starpilot_yam_gripper

数据结构

动作空间（Action）

• 维度：14 维
• 数据内容：包含两个机械臂的 x、y、z 位置、旋转角度及夹爪宽度，具体字段为：
  • arm1_x, arm1_y, arm1_z, arm1_rx, arm1_ry, arm1_rz, arm1_grip_width
  • arm2_x, arm2_y, arm2_z, arm2_rx, arm2_ry, arm2_rz, arm2_grip_width

观测状态（Observation State）

• 维度：32 维
• 数据内容：包含两个机械臂的编码器角度、IMU 数据、位姿（位置+四元数）、夹爪状态，具体字段为：
  • arm1_enc_deg, arm1_imu_ax, arm1_imu_ay, arm1_imu_az, arm1_imu_gx, arm1_imu_gy, arm1_imu_gz
  • arm1_pose_x, arm1_pose_y, arm1_pose_z, arm1_pose_qx, arm1_pose_qy, arm1_pose_qz, arm1_pose_qw
  • arm1_gripper_open, arm1_gripper_distance_m
  • arm2_enc_deg, arm2_imu_ax, arm2_imu_ay, arm2_imu_az, arm2_imu_gx, arm2_imu_gy, arm2_imu_gz
  • arm2_pose_x, arm2_pose_y, arm2_pose_z, arm2_pose_qx, arm2_pose_qy, arm2_pose_qz, arm2_pose_qw
  • arm2_gripper_open, arm2_gripper_distance_m

观测图像（Observation Images）

数据集包含 6 个摄像头视角的多模态图像数据：

摄像头名称	分辨率	类型
left_wrist_0_camera_rgb_image	480×640	RGB
left_wrist_0_camera_rgb_image_depth	480×640	RGB（深度图标记为 false）
right_wrist_0_camera_rgb_image	480×640	RGB
right_wrist_0_camera_rgb_image_depth	480×640	RGB（深度图标记为 false）
base_0_camera_rgb_image	480×640	RGB
base_1_camera_rgb_image	768×1024	RGB

• 视频编码：H.264
• 像素格式：yuv420p
• 帧率：30 FPS

其他字段

• timestamp：时间戳（float32）
• frame_index：帧索引（int64）
• episode_index：片段索引（int64）
• index：全局索引（int64）
• task_index：任务索引（int64）

数据存储结构

• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4
• 块大小：1000 帧