vla-mujoco-so101-cube_on_tray-joystick-v2.1

该数据集是一个机器人操作数据集，使用LeRobot工具创建，基于Mujoco模拟环境和so101机器人模型。它专注于一个具体任务：通过操作杆控制机器人将立方体放置在托盘上。数据集包含60个完整的情节（episodes），总计44995帧，帧率为30fps。数据特征包括：动作数据（6维浮点数，表示机器人关节位置，如肩部平移、肩部提升、肘部弯曲、腕部弯曲、腕部旋转和夹爪位置）；观察状态数据（13维浮点数，包括关节位置和末端执行器的位置与四元数姿态）；以及多个图像观察数据，包括realsense摄像头（RGB视频）、realsense_depth摄像头（深度视频）、realsense_depth_vis摄像头（深度可视化视频）和wrist_cam摄像头（腕部摄像头视频），所有视频分辨率为480x640，3通道，使用av1编解码器。此外，数据集还包含时间戳、帧索引、情节索引、总索引和任务索引等信息。数据以parquet格式存储，总数据文件大小为100MB，视频文件大小为200MB，仅包含训练分割。

This dataset is a robot manipulation dataset created using the LeRobot tool, based on the Mujoco simulation environment and the so101 robot model. It focuses on a specific task: controlling the robot via a joystick to place a cube on a tray. The dataset contains 60 complete episodes, totaling 44995 frames at a frame rate of 30fps. Data features include: action data (6-dimensional floating-point numbers representing robot joint positions, such as shoulder translation, shoulder elevation, elbow bend, wrist bend, wrist rotation, and gripper position); observation state data (13-dimensional floating-point numbers including joint positions and end-effector position with quaternion orientation); and multiple image observation data, including realsense camera (RGB video), realsense_depth camera (depth video), realsense_depth_vis camera (depth visualization video), and wrist_cam camera (wrist camera video), all with a resolution of 480x640, 3 channels, using the av1 codec. Additionally, the dataset includes information such as timestamps, frame indices, episode indices, total indices, and task indices. The data is stored in parquet format, with a total data file size of 100MB and a video file size of 200MB, containing only the training split.

原始信息汇总

数据集概述

• 名称: vla-mujoco-so101-cube_on_tray-joystick-v2.1
• 创建工具: 基于 LeRobot 生成
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)

数据集规模

• 总片段数: 60
• 总帧数: 44,995
• 总任务数: 1
• 帧率: 30 fps
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据集划分

• 训练集: 包含全部 60 个片段 (片段索引 0 至 59)

机器人类型

• 机器人型号: so101_mujoco

特征与结构

动作 (action)

• 数据类型: float32
• 维度: 6
• 动作维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos

观测状态 (observation.state)

• 数据类型: float32
• 维度: 13
• 状态维度名称:
  • shoulder_pan.pos
  • shoulder_lift.pos
  • elbow_flex.pos
  • wrist_flex.pos
  • wrist_roll.pos
  • gripper.pos
  • ee_pos_x
  • ee_pos_y
  • ee_pos_z
  • ee_quat_x
  • ee_quat_y
  • ee_quat_z
  • ee_quat_w

图像观测

观测名称	数据类型	尺寸 (H×W×C)	编码格式	帧率	说明
observation.images.realsense	视频	480×640×3	AV1 (yuv420p)	30 fps	彩色相机
observation.images.realsense_depth	视频	480×640×3	AV1 (yuv420p)	30 fps	深度图 (未标记为深度图)
observation.images.realsense_depth_vis	视频	480×640×3	AV1 (yuv420p)	30 fps	深度可视化
observation.images.wrist_cam	视频	480×640×3	AV1 (yuv420p)	30 fps	腕部相机

其他元数据字段

• timestamp: float32，维度1
• frame_index: int64，维度1
• episode_index: int64，维度1
• index: int64，维度1
• task_index: int64，维度1

数据存储路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

目前未提供正式的引文或BibTeX。