mimicgen_threading_d0_224x224_mtdit_flow_55k_success_insertcam
收藏资源简介：
该数据集使用LeRobot创建，基于MimicGen和robosuite环境，专注于穿针任务（threading）。数据集包含100个成功执行的回放片段（episodes），总帧数为22392，帧率为20fps。图像分辨率为224x224，包含agentview（视角）和eye_in_hand（手眼相机）两个摄像头，并额外添加了一个名为insertion的摄像头，该摄像头固定安装在机器人右手坐标系中，用于观察穿针过程中针与孔的对齐。数据特征包括动作（7维，float32）、状态（37维，float32）、奖励、完成标志、成功标志等。机器人类型为Panda。数据集采用LeRobot v3.0格式，数据以parquet和mp4视频文件存储。
This dataset is created using LeRobot, based on the MimicGen and robosuite environments, focusing on the threading task. It contains 100 successful replay episodes, with a total of 22392 frames at 20fps. The image resolution is 224x224, including two cameras: agentview and eye_in_hand, and an additional camera named insertion fixed in the robots right-hand coordinate system to observe the alignment of the needle and hole during threading. Data features include actions (7-dimensional, float32), states (37-dimensional, float32), rewards, task completion flags, success flags, etc. The robot type is Panda. The dataset is in LeRobot v3.0 format, with data stored as parquet and mp4 video files.
数据集概述
数据集名称：mimicgen_threading_d0_224x224_mtdit_flow_55k_success_insertcam
数据集描述：这是一个使用LeRobot框架创建的机器人操作数据集，基于robosuite和MimicGen生成，包含螺纹插入任务的机器人演示数据。该数据集记录了机器人执行螺纹插入任务的成功轨迹，包含多视角视觉观测和完整的状态信息。
基本信息
| 属性 | 内容 |
|---|---|
| 许可证 | cc-by-4.0 |
| 任务类别 | robotics（机器人） |
| 数据集格式 | Parquet + 视频文件（AV1编码） |
| 代码库版本 | v3.0 |
| 机器人类型 | Panda（Franka Emika Panda机械臂） |
| 采样频率 | 20 fps |
| 数据分割 | train（0:100） |
数据集规模
| 指标 | 数值 |
|---|---|
| 总片段数（episodes） | 100 |
| 总帧数（frames） | 22,392 |
| 总任务数 | 1 |
| 数据文件大小 | 约100 MB |
| 视频文件大小 | 约200 MB |
| 分块大小 | 每块1000帧 |
视觉观测
数据集包含三个摄像头视角，分辨率为 224×224，均以视频形式存储：
- agentview：原始代理视角
- eye_in_hand：手眼相机视角（沿夹爪轴向拍摄）
- insertion：新增视角，通过模拟状态重放渲染，专门用于观察螺纹插入过程的针孔对齐操作。该相机安装于
robot0_right_hand坐标系中，为固定位姿，旨在从透过三脚架孔洞的角度观察针-孔对齐，弥补腕部相机无法看到三脚架内孔的不足。
视频编码参数：AV1编码、yuv420p像素格式、20 fps、CRF 30、3通道。
已知局限：由于该视角固定在移动的手部，每个片段的前半段三脚架可能移出画面，因此该视角应与其他两个视角配合使用。
状态与动作特征
动作（action）
- 维度：7（float32）
观测状态特征
| 特征名称 | 维度 | 数据类型 |
|---|---|---|
| observation.state | 37 | float32 |
| observation.sim_state | 45 | float32 |
| observation.robot0_eef_pos | 3 | float32 |
| observation.robot0_eef_quat | 4 | float32 |
| observation.robot0_eef_vel_ang | 3 | float32 |
| observation.robot0_eef_vel_lin | 3 | float32 |
| observation.robot0_gripper_qpos | 2 | float32 |
| observation.robot0_gripper_qvel | 2 | float32 |
| observation.robot0_joint_pos | 7 | float32 |
| observation.robot0_joint_pos_cos | 7 | float32 |
| observation.robot0_joint_pos_sin | 7 | float32 |
| observation.robot0_joint_vel | 7 | float32 |
| observation.object | 28 | float32 |
其他元数据特征
- reward：1维，float32
- done / success / is_first / is_last / is_terminal：1维，bool类型
- source_demo_index：1维，int64
- timestamp：1维，float32
- frame_index / episode_index / index / task_index：1维，int64
新增摄像头安装参数
新增的insertion相机采用固定安装位姿，仅计算一次，统一应用于所有片段：
cam_pos_local = [-0.19815, -0.035687, 0.078038] cam_quat_local = [-0.322727, 0.517794, 0.611714, -0.50353] # w, x, y, z
该参数同时保存在meta/insertion_camera.json中。
