chaoqi-liu/mshab_settable_clean_w_depth

mshab_settable_clean_w_depth数据集是MS-HAB SetTable子任务的LeRobot格式转换版本，专门用于机器人学习任务。该数据集包含两个自然语言指令任务：“set table: pick object”（设置桌子：拾取物体）和“set table: place object”（设置桌子：放置物体），每个任务有2000个episodes，总计4000个episodes和151547帧，帧率为20fps。数据集结构包括元数据文件（如info.json、stats.json、tasks.parquet），并提供了详细的观测映射（如42维状态、关节位置、TCP姿态、物体姿态、目标位置、抓取状态、RGB视频和深度图像）和动作映射（13维控制，包括关节、夹爪和基座控制）。数据来源于发布的MS-HAB SetTable子任务，仅涵盖SetTable部分，并保留了原始HDF5源中的相机矩阵。数据集还包含每episode的元数据和转换验证报告，适用于机器人模拟和强化学习研究。### 配置项 - 配置名称：default 数据文件路径：data/*/*.parquet ### 标签 - lerobot - LeRobot - 机器人学 - mshab - ms-hab - settable - 仿真 ### 任务类别 - 机器人学 ### 数据集显示名称 mshab_settable_clean_w_depth # mshab_settable_clean_w_depth 本数据集为已发布的MS-HAB摆桌（SetTable）子任务的莱机器人（LeRobot）格式转换版本。 ## 数据集来源 - 原始发布仓库：`datasets/arth-shukla/MS-HAB-SetTable` - 基准任务范围：仅包含摆桌（SetTable）子任务 - 本LeRobot数据集的任务指令字符串：`set table: pick object`（摆桌：拾取物体）、`set table: place object`（摆桌：放置物体） - 划分映射：LeRobot的`train`划分包含所有导出的已发布回合 - 帧率（fps）：`20` ## 数据集结构 元数据文件`meta/info.json`（链接：https://huggingface.co/datasets/chaoqi-liu/mshab_settable_clean_w_depth/blob/main/meta/info.json）： json { "代码库版本": "v3.0", "机器人类型": "fetch", "总回合数": 4000, "总帧数": 151547, "总任务数": 2, "帧率": 20, "划分信息": {"train": "0:4000"}, "数据文件路径": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频文件路径": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4" } 其他元数据文件： - `meta/stats.json`（链接：https://huggingface.co/datasets/chaoqi-liu/mshab_settable_clean_w_depth/blob/main/meta/stats.json） - `meta/tasks.parquet`（链接：https://huggingface.co/datasets/chaoqi-liu/mshab_settable_clean_w_depth/blob/main/meta/tasks.parquet） - `meta/episodes/chunk-000/file-000.parquet`（链接：https://huggingface.co/datasets/chaoqi-liu/mshab_settable_clean_w_depth/blob/main/meta/episodes/chunk-000/file-000.parquet） ## 数据统计 ### 按任务指令分类 - `set table: pick object`（摆桌：拾取物体）：2000个回合 - `set table: place object`（摆桌：放置物体）：2000个回合 ### 按原始发布配置分类 - `pick-013_apple`（拾取-013号苹果）：1000个回合 - `pick-024_bowl`（拾取-024号碗）：1000个回合 - `place-013_apple`（放置-013号苹果）：1000个回合 - `place-024_bowl`（放置-024号碗）：1000个回合 ## 观测空间映射 - `observation.state`：42维平坦基准状态向量 - `observation.agent.qpos`：12维向量 - `observation.agent.qvel`：12维向量 - `observation.extra.tcp_pose_wrt_base`：7维向量（末端执行器相对于基座的位姿） - `observation.extra.obj_pose_wrt_base`：7维向量（物体相对于基座的位姿） - `observation.extra.goal_pos_wrt_base`：3维向量（目标位置相对于基座的坐标） - `observation.extra.is_grasped`：1维标识向量 - `observation.images.fetch_head`：RGB视频数据，尺寸为`(128, 128, 3)` - `observation.images.fetch_hand`：RGB视频数据，尺寸为`(128, 128, 3)` - `observation.depth.fetch_head`：int16格式深度数据，尺寸为`(128, 128, 1)` - `observation.depth.fetch_hand`：int16格式深度数据，尺寸为`(128, 128, 1)` - `observation.camera.*`：保留自原始HDF5发布源的相机内参矩阵 ## 动作空间映射 - `action`：13维float32格式控制向量，遵循控制器顺序 - 维度对应名称：`arm.shoulder_pan_joint`（大臂旋转关节）、`arm.shoulder_lift_joint`（大臂升降关节）、`arm.upperarm_roll_joint`（上臂滚动关节）、`arm.elbow_flex_joint`（肘关节弯曲关节）、`arm.forearm_roll_joint`（前臂滚动关节）、`arm.wrist_flex_joint`（腕关节弯曲关节）、`arm.wrist_roll_joint`（腕关节滚动关节）、`gripper.control`（夹爪控制）、`body.head_pan_joint`（头部旋转关节）、`body.head_tilt_joint`（头部俯仰关节）、`body.torso_lift_joint`（躯干升降关节）、`base.forward_velocity`（底座前进速度）、`base.rotation_velocity`（底座旋转速度） ## 回合元数据 - 每个回合的原始发布源元数据存储于`meta/mshab_source_episodes.jsonl` - 格式转换总结与验证报告存储于`meta/mshab_settable_export_report.json` ## 补充说明 - MS-HAB摆桌任务的原始发布版本中，每个动作前存储了一组观测数据，因此本次导出将观测[t]与动作[t]对齐。 - RGB相机数据以LeRobot视频格式存储于`observation.images.fetch_head`与`observation.images.fetch_hand`字段中。 - 深度数据流以int16数组格式保留于`observation.depth.fetch_head`与`observation.depth.fetch_hand`字段中。 - 任务指令字符串为自然语言描述，例如`set table: open drawer`（摆桌：打开抽屉），而非简短的基准任务标签。 - 当检测到任务成功时，回合将在第一个成功动作帧处截断。 - 导出前，原始HDF5格式的动作数据已被裁剪至标准化后的MS-HAB环境动作空间范围内。 - 完整的8种原始发布配置标识仍可在`meta/mshab_source_episodes.jsonl`中获取。 - 本数据集变体源自现有LeRobot数据集`datasets/chaoqi-liu/mshab_settable_w_depth`，未对RGB视频进行重新编码。