SO101-sample-2

这是一个使用LeRobot创建的机器人数据集，由11个源数据集合并而成，包含621个episodes（共177661帧）。数据涵盖远程操作和DAgger策略回滚，任务为将立方体放入盒子，涉及两种尺寸的立方体（5cm大立方体和2cm小立方体）以及多种颜色。数据特征包括6维动作、6维状态、手腕和顶部摄像头图像（480x640，30fps，AV1编码）以及时间戳、帧索引等。This is a robot dataset created using LeRobot, merged from 11 source datasets, containing 621 episodes (177661 frames). The data covers teleoperation and DAgger policy rollouts, with the task of placing a cube into a box, involving two sizes of cubes (5cm large cube and 2cm small cube) and multiple colors. Data features include 6-dimensional actions, 6-dimensional states, wrist and top camera images (480x640, 30fps, AV1 encoding), as well as timestamps, frame indices, etc.

原始信息汇总

数据集详情总结：SO101-sample-2

基本信息

该数据集是一个用于机器人操控任务的具身智能数据集，基于 LeRobot 框架创建，遵循 Apache-2.0 许可证，属于机器人（robotics）任务类别。

数据集构成

该数据集由 11 个来源数据集合并而成，总计包含 621 个片段（episodes） 和 177,661 帧（frames），使用 lerobot.datasets.aggregate.aggregate_datasets 方法进行聚合。

分类结构

• Cat 1. 5cm 遥操作（teleop）：1 个来源，123 个片段，38,444 帧（episode 0–122）
• Cat 2. 5cm DAgger：5 个来源，100 个片段，19,914 帧（episode 123–222）
• Cat 3. 2cm 遥操作（teleop）：4 个来源，350 个片段，110,397 帧（episode 223–572）
• Cat 4. 2cm DAgger：1 个来源，48 个片段，8,906 帧（episode 573–620）

关键说明

• **大立方体（5cm）**对应类别 1–2，**小立方体（2cm）**对应类别 3–4
• teleop 代表人工遥操作，dagger 代表基于 MolmoAct2 策略的 DAgger rollout（含人工干预）
• 6 个 DAgger 来源原本带有 intervention（布尔）特征，在合并时被移除，使所有 11 个来源共享同一数据模式
• 所有任务已统一为 10 个任务字符串（5 种颜色 × 大/小立方体）

数据结构

• 帧率：30 FPS
• 机器人类型：so_follower
• 训练/测试划分：全部 621 个片段作为训练集（train: 0:621）

特征字段

特征	数据类型	形状	说明
action	float32	(6,)	6 维动作（肩部旋转、肩部升降、肘部弯曲、腕部弯曲、腕部旋转、夹爪位置）
observation.state	float32	(6,)	6 维机器人状态（与动作同构）
observation.images.wrist	video	(480, 640, 3)	腕部相机视频，AV1 编码，30 FPS
observation.images.top	video	(480, 640, 3)	顶部相机视频，AV1 编码，30 FPS
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	片段索引
index	int64	(1,)	索引
task_index	int64	(1,)	任务索引

数据存储

• 数据文件：Parquet 格式，共约 100 MB（data/*/*.parquet）
• 视频文件：MP4 格式（AV1 编码），共约 200 MB（video_path 指定路径）