mshab_settable

mshab_settable数据集是LeRobot格式的MS-HAB SetTable子任务的转换版本，专注于餐桌设置相关的子任务，如拾取物体、放置物体、打开/关闭冰箱和抽屉等。数据集包含8000个episodes，365533帧，帧率为20fps。数据以Parquet格式存储，并包含RGB视频流。每个任务都有详细的自然语言指令，如set table: open drawer。数据集还提供了观察和动作的详细映射，包括状态、关节位置、速度、物体姿态等。元数据存储在多个JSON和Parquet文件中，用于记录数据集的统计信息和任务详情。

The mshab_settable dataset is a converted version of the MS-HAB SetTable subtask in LeRobot format, focusing on subtasks related to table setting, such as picking up objects, placing objects, opening/closing refrigerators and drawers. The dataset contains 8000 episodes, 365533 frames, with a frame rate of 20fps. The data is stored in Parquet format and includes RGB video streams. Each task has detailed natural language instructions, such as set table: open drawer. The dataset also provides detailed mappings of observations and actions, including state, joint positions, velocities, object poses, etc. Metadata is stored in multiple JSON and Parquet files to record the datasets statistical information and task details.

原始信息汇总

数据集概述：mshab_settable

简要描述
mshab_settable 是一个经过LeRobot格式转换的MS-HAB SetTable子任务数据集，专注于机器人设置桌面的操作场景。

基本信息

• 数据集名称：mshab_settable
• 任务类别：机器人学（robotics）
• 标签：lerobot, LeRobot, robotics, mshab, ms-hab, settable, simulation
• 来源仓库：datasets/arth-shukla/MS-HAB-SetTable
• 机器人类型：fetch
• 帧率（fps）：20
• 总集数（episodes）：8000
• 总帧数：365533
• 总任务数：6
• 数据集版本：v3.0

数据集分割

• 训练集（train）：包含全部8000个episode（索引0:8000）

任务与指令
数据集包含6个自然语言指令任务，每个任务对应的episode数量如下：

• set table: pick object：2000 episodes
• set table: place object：2000 episodes
• set table: open drawer：1000 episodes
• set table: close drawer：1000 episodes
• set table: open fridge：1000 episodes
• set table: close fridge：1000 episodes

源配置分布
每个源配置对应1000 episodes，共8种：

• close-fridge、close-kitchen_counter、open-fridge、open-kitchen_counter
• pick-013_apple、pick-024_bowl、place-013_apple、place-024_bowl

数据结构

• 元数据文件：
  • meta/info.json：数据集基本信息
  • meta/stats.json：统计信息
  • meta/tasks.parquet：任务信息
  • meta/episodes/chunk-000/file-000.parquet：episode元数据
• 数据路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

观测（Observation）映射

• observation.state：42维平面基准状态
• observation.agent.qpos：12维关节位置
• observation.agent.qvel：12维关节速度
• observation.extra.tcp_pose_wrt_base：7维TCP相对于基座的位置
• observation.extra.obj_pose_wrt_base：7维物体相对于基座的位置
• observation.extra.goal_pos_wrt_base：3维目标位置相对于基座
• observation.extra.is_grasped：1维抓取状态
• observation.images.fetch_head：RGB视频 (128, 128, 3)
• observation.images.fetch_hand：RGB视频 (128, 128, 3)
• observation.camera.*：保留的相机矩阵

动作（Action）映射

• 动作：13维float32控制信号，按控制器顺序排列
• 关节名称：arm.shoulder_pan_joint, arm.shoulder_lift_joint, arm.upperarm_roll_joint, arm.elbow_flex_joint, arm.forearm_roll_joint, arm.wrist_flex_joint, arm.wrist_roll_joint, gripper.control, body.head_pan_joint, body.head_tilt_joint, body.torso_lift_joint, base.forward_velocity, base.rotation_velocity

重要说明

• 每个episode的源元数据存储在 meta/mshab_source_episodes.jsonl 中。
• 转换摘要和验证信息存储在 meta/mshab_settable_export_report.json 中。
• 观测与动作对齐：每个动作前存储一个观测。
• RGB相机视频存储在 observation.images.fetch_head 和 observation.images.fetch_hand 中。
• 深度流在此数据集变体中省略。
• 任务指令为自然语言描述（如 set table: open drawer），非简短标签。
• 当检测到成功时，episode在第一个成功动作帧处截断。
• 动作值已裁剪到标准化的MS-HAB环境动作框内。
• 此变体从现有数据集 datasets/chaoqi-liu/mshab_settable_w_depth 衍生，未重新编码RGB视频。