robocasa_spatial_camrandom_depthmap_trunc_pretrain_atomic_AdjustToasterOvenTemperature

该数据集是一个机器人学相关的数据集，使用LeRobot创建。它包含107个episodes，总计21328帧，涉及2个任务。数据以parquet文件格式存储，并包含相关的视频文件。数据集的特征包括12维的动作数据、16维的状态观察数据，以及来自不同机器人视角（agentview_left、agentview_right、eye_in_hand）的图像观察数据及其对应的深度图。此外，数据集还包含这些视角的内参和外参矩阵。数据集的结构和特征在meta/info.json中有详细描述。

原始信息汇总

数据集概述

基本信息

• 数据集名称: kimz1121/robocasa_spatial_camrandom_depthmap_trunc_pretrain_atomic_AdjustToasterOvenTemperature
• 创建工具: 使用 LeRobot 创建
• 许可证: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

数据规模

• 总情节数: 107
• 总帧数: 21328
• 总任务数: 2
• 数据分块大小: 1000
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB
• 帧率: 20 FPS

数据划分

• 训练集: 包含所有107个情节

数据格式与存储

• 数据文件格式: Parquet
• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

数据特征

动作特征

• 名称: action
• 数据类型: float32
• 形状: [12]
• 包含字段:
  • base_x
  • base_y
  • base_rot
  • base_torso
  • control_mode
  • ee_x
  • ee_y
  • ee_z
  • ee_rx
  • ee_ry
  • ee_rz
  • gripper_close

状态观测特征

• 名称: observation.state
• 数据类型: float32
• 形状: [16]
• 包含字段:
  • base_x
  • base_y
  • base_z
  • base_qx
  • base_qy
  • base_qz
  • base_qw
  • ee_rel_x
  • ee_rel_y
  • ee_rel_z
  • ee_rel_qx
  • ee_rel_qy
  • ee_rel_qz
  • ee_rel_qw
  • gripper_left
  • gripper_right

图像观测特征

彩色图像

包含以下三个视角的彩色视频数据：

• observation.images.robot0_agentview_left
• observation.images.robot0_agentview_right
• observation.images.robot0_eye_in_hand

通用属性:

• 数据类型: video
• 形状: [256, 256, 3]
• 分辨率: 256x256
• 通道数: 3
• 视频编码: h264
• 像素格式: yuv420p
• 帧率: 20 FPS
• 包含音频: 否
• 是否为深度图: 否

深度图

包含以下三个视角的深度图视频数据：

• observation.images.robot0_agentview_left_depthmap
• observation.images.robot0_agentview_right_depthmap
• observation.images.robot0_eye_in_hand_depthmap

通用属性:

• 数据类型: video
• 形状: [256, 256, 3]
• 分辨率: 256x256
• 通道数: 3
• 视频编码: h264
• 像素格式: yuv420p
• 帧率: 20 FPS
• 包含音频: 否
• 是否为深度图: 否

相机参数特征

内参矩阵

• observation.intrinsic.robot0_agentview_left
• observation.intrinsic.robot0_agentview_right
• observation.intrinsic.robot0_eye_in_hand

通用属性:

• 数据类型: float32
• 形状: [3, 3]
• 名称: intrinsic_matrix

外参矩阵

• observation.extrinsic.robot0_agentview_left
• observation.extrinsic.robot0_agentview_right
• observation.extrinsic.robot0_eye_in_hand

通用属性:

• 数据类型: float32
• 形状: [4, 4]
• 名称: extrinsic_matrix

索引与时间戳特征

• timestamp: 时间戳，float32 类型，形状 [1]
• frame_index: 帧索引，int64 类型，形状 [1]
• episode_index: 情节索引，int64 类型，形状 [1]
• index: 索引，int64 类型，形状 [1]
• task_index: 任务索引，int64 类型，形状 [1]

元数据

• 代码库版本: v3.0
• 机器人类型: PandaOmron

相关链接

• 数据集可视化: https://huggingface.co/spaces/lerobot/visualize_dataset?path=kimz1121/robocasa_spatial_camrandom_depthmap_trunc_pretrain_atomic_AdjustToasterOvenTemperature