SO101-large-small-cube-11dataset-merged-0729

该数据集是一个用于机器人学习的数据集，专门针对立方体到盒子的操作任务。它由11个源数据集合并而成，总计包含621个episodes和177,661个frames。数据集涵盖两种立方体尺寸：大立方体（5厘米）和小立方体（2厘米）。数据收集方式包括人类远程操作（teleop）和DAgger算法滚动策略（dagger）。数据集统一了10个任务字符串（基于5种颜色和立方体大小）。数据特征包括6维动作和状态观测（对应机器人关节位置），以及来自手腕和顶部摄像头的视频图像（分辨率480x640，30fps）。数据集结构包含时间戳、帧索引、episode索引等元数据，适用于机器人控制和模仿学习研究。This dataset is tailored for robotic learning, focusing specifically on the cube-to-box manipulation task. It is compiled from 11 source datasets, totaling 621 episodes and 177,661 frames. The dataset covers two cube sizes: large cubes (5 cm) and small cubes (2 cm). Data collection methods include human teleoperation (teleop) and the DAgger algorithm rollout strategy. It unifies 10 task strings based on 5 colors and cube sizes. The data features include 6-dimensional action and state observations corresponding to robot joint positions, as well as video images captured by the wrist and top-mounted cameras with a resolution of 480x640 at 30 fps. The dataset structure includes metadata such as timestamps, frame indices, episode indices, and is applicable to research in robotic control and imitation learning.

原始信息汇总

• 数据集名称：SO101-large-small-cube-11dataset-merged-0729
• 许可证：Apache-2.0
• 任务类别：机器人学（robotics）
• 标签：LeRobot、so101、dagger、cube-to-box
• 创建工具：使用 LeRobot 创建

数据集组成

由 11 个源数据集合并而成，总计 621 个 episode、177661 帧。合并方法为 lerobot.datasets.aggregate.aggregate_datasets。Episode 索引按下列顺序分配：

类别	源数据集	Episodes	帧数	Episode 范围
Cat 1. 5cm teleop	geonmin-kim/SO101-lv2-single-cube-to-box-random-layout-5cm	123	38444	0–122
Cat 2. 5cm dagger	geonmin-kim/rollout_dagger_molmoact2_so101_0727_5cm_cube_phase_aware_re_green_sync_0728_1338_20260728_134109	20	3603	123–142
	geonmin-kim/rollout_dagger_molmoact2_so101_0727_5cm_cube_phase_aware_resa_red_sync_0728_1355_20260728_135717	20	3887	143–162
	geonmin-kim/rollout_dagger_molmoact2_so101_0727_5cm_cube_phase_aware_res_blue_sync_0728_1409_20260728_141211	20	3633	163–182
	geonmin-kim/rollout_dagger_molmoact2_so101_0727_5cm_cube_phase_aware_r_yellow_sync_0728_1426_20260728_142859	20	4691	183–202
	geonmin-kim/rollout_dagger_molmoact2_so101_0727_5cm_cube_phase_aware_r_orange_sync_0728_1448_20260728_145014	20	4100	203–222
Cat 3. 2cm teleop	geonmin-kim/SO101-lv2-single-cube-to-box-random-layout-v1	200	70509	223–422
	geonmin-kim/lv2_neartop_emptyupbox	50	13475	423–472
	geonmin-kim/lv1_neartop_upbox	50	14677	473–522
	geonmin-kim/lv3_neartop_multiple_cubes_no_human_reset	50	11736	523–572
Cat 4. 2cm dagger	geonmin-kim/rollout_dagger_molmoact2_so101_lv2_single_cube_to_box_rando_green_sync_0723_1754_20260723_175703	48	8906	573–620
	总计	621	177661	0–620

备注

• 大立方体（5 cm）对应类别 1–2，小立方体（2 cm）对应类别 3–4。
• teleop 表示人类远程操作，dagger 表示使用 MolmoAct2 策略的 DAgger rollout，并有人类干预。
• 6 个 dagger 源数据包含额外的 intervention（布尔值）特征，合并时已丢弃，使所有 11 个源数据共享同一 schema。
• 所有源数据的任务被统一为 10 个任务字符串（5 种颜色 × 大/小立方体）。

数据集结构

• 帧率：30 FPS
• 机器人类型：so_follower
• 特征：
  • action：float32，形状 [6]，含 6 个关节位置（shoulder_pan、shoulder_lift、elbow_flex、wrist_flex、wrist_roll、gripper）
  • observation.state：float32，形状 [6]，关节状态
  • observation.images.wrist：视频，分辨率 480×640，3 通道，AV1 编码，30 FPS
  • observation.images.top：视频，分辨率 480×640，3 通道，AV1 编码，30 FPS
  • timestamp：float32，形状 [1]
  • frame_index：int64，形状 [1]
  • episode_index：int64，形状 [1]
  • index：int64，形状 [1]
  • task_index：int64，形状 [1]
• 数据文件：Parquet 格式，分块存储（chunk-{index}/file-{index}.parquet）
• 视频文件：MP4 格式，按视频键分目录（videos/{video_key}/chunk-{index}/file-{index}.mp4）
• 数据集划分：全部数据作为训练集（train: 0:621）
• 数据文件大小：约 100 MB
• 视频文件大小：约 200 MB
• 数据集可视化：可视化链接