mshab_settable_w_depth

该数据集是LeRobot格式的MS-HAB SetTable子任务转换版本，专注于与设置餐桌相关的多个子任务，包括拾取物体、放置物体、开关冰箱和抽屉等。数据集包含8000个episodes和365533帧，帧率为20fps。数据集结构包括元数据文件、视频和深度数据，并详细描述了观察和动作的映射关系。每个任务的指令和发布源配置的计数也有详细记录。

原始信息汇总

数据集概述：mshab_settable_w_depth

基本信息

• 数据集名称: mshab_settable_w_depth
• 数据集类型: 机器人仿真数据集（LeRobot 格式）
• 来源: MS-HAB SetTable 子任务（原始仓库：datasets/arth-shukla/MS-HAB-SetTable）
• 机器人类型: Fetch
• 帧率 (FPS): 20

规模统计

指标	数值
总片段数 (Episodes)	8,000
总帧数 (Frames)	365,533
总任务数 (Tasks)	6
数据划分	仅 train 集合（0:8000）

任务指令与片段分布

按自然语言指令统计

任务指令	片段数
set table: close drawer	1,000
set table: close fridge	1,000
set table: open drawer	1,000
set table: open fridge	1,000
set table: pick object	2,000
set table: place object	2,000

按原始配置统计

配置名称	片段数
close-fridge	1,000
close-kitchen_counter	1,000
open-fridge	1,000
open-kitchen_counter	1,000
pick-013_apple	1,000
pick-024_bowl	1,000
place-013_apple	1,000
place-024_bowl	1,000

观测空间 (Observation Mapping)

状态观测

键	维度	描述
observation.state	42	平坦化基准状态
observation.agent.qpos	12	关节位置
observation.agent.qvel	12	关节速度
observation.extra.tcp_pose_wrt_base	7	TCP 相对于基坐标系位姿
observation.extra.obj_pose_wrt_base	7	物体相对于基坐标系位姿
observation.extra.goal_pos_wrt_base	3	目标位置相对于基坐标系
observation.extra.is_grasped	1	是否抓取标志

相机观测

键	类型	尺寸
observation.images.fetch_head	RGB 视频	(128, 128, 3)
observation.images.fetch_hand	RGB 视频	(128, 128, 3)
observation.depth.fetch_head	int16 深度图	(128, 128, 1)
observation.depth.fetch_hand	int16 深度图	(128, 128, 1)

相机矩阵

• observation.camera.*: 保留自原始 HDF5 源的相机矩阵

动作空间 (Action Mapping)

• 动作维度: 13 维 float32 控制量（按控制器顺序）
• 动作名称列表:
  • arm.shoulder_pan_joint
  • arm.shoulder_lift_joint
  • arm.upperarm_roll_joint
  • arm.elbow_flex_joint
  • arm.forearm_roll_joint
  • arm.wrist_flex_joint
  • arm.wrist_roll_joint
  • gripper.control
  • body.head_pan_joint
  • body.head_tilt_joint
  • body.torso_lift_joint
  • base.forward_velocity
  • base.rotation_velocity

数据集结构

• 元数据文件:
  • meta/info.json: 数据集配置信息
  • meta/stats.json: 统计信息
  • meta/tasks.parquet: 任务列表
  • meta/episodes/.../file-xxx.parquet: 片段元数据
  • meta/mshab_source_episodes.jsonl: 原始源片段元数据
  • meta/mshab_settable_export_report.json: 转换报告
• 数据路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

重要说明

1. 原始 MS-HAB SetTable 数据集在每次动作前记录一个观测，因此导出时观测 observation[t] 与动作 action[t] 对齐。
2. RGB 相机数据以 LeRobot 视频格式存储。
3. 深度流以 int16 数组形式保留。
4. 任务指令采用自然语言描述（如 set table: open drawer），而非简短基准标签。
5. 当检测到成功时，片段会在第一个成功动作帧处截断。
6. 原始 HDF5 动作行在导出前已被裁剪到归一化的 MS-HAB 环境动作空间内。
7. 完整的 8 方向原始配置信息保存在 meta/mshab_source_episodes.jsonl 中。