mimicgen_threading_d0_224x224_mtdit_flow_55k_failure_insertcam

该数据集基于MimicGen和robosuite模拟器，使用LeRobot框架创建，包含机器人执行线程插入任务的失败演示（rollout）。数据集包含100个episode，每个episode包含多帧观察（包括agentview和eye_in_hand摄像机图像）以及机器人状态、动作、奖励等信息。额外增加了一个插入视角的摄像机，用于更好地观察针孔对齐。该数据集可用于机器人模仿学习、强化学习中的失败案例分析和鲁棒性研究。This dataset is created with the MimicGen and robosuite simulators using the LeRobot framework, containing failure demonstrations (rollouts) of a robot performing a thread insertion task. The dataset includes 100 episodes, each with multiple observations (including agentview and eye_in_hand camera images) as well as robot states, actions, and rewards. An additional insertion-view camera is added to better observe needle alignment. This dataset can be used for failure case analysis and robustness research in robot imitation learning and reinforcement learning.

原始信息汇总

数据集概述

数据集名称: mimicgen_threading_d0_224x224_mtdit_flow_55k_failure_insertcam
数据集地址: https://huggingface.co/datasets/chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_failure_insertcam
许可证: CC-BY-4.0
任务类别: 机器人学 (Robotics)

---

数据集描述

该数据集基于 LeRobot (https://github.com/huggingface/lerobot) 框架创建，使用 MimicGen 和 Robosuite 仿真环境进行 rollout 生成。数据集用于机器人操作任务的模仿学习，特别关注失败轨迹收集，以支持 DICE-RL（离线强化学习）相关研究。数据集包含单个穿线（threading）任务，由 Panda 机器人执行。

---

数据集结构

基本信息

• 总集数 (total_episodes): 100
• 总帧数 (total_frames): 40,000
• 总任务数 (total_tasks): 1
• 帧率 (fps): 20
• 数据文件大小: 约 100 MB（Parquet）
• 视频文件大小: 约 200 MB（MP4）
• 机器人类型: Panda
• 数据划分: 全部100个episode用于训练（train: "0:100"）
• 数据格式: Parquet文件（data/*/*.parquet），视频存储为MP4

特征字段（Features）

字段名	数据类型	形状
action	float32	[7]
observation.state	float32	[37]
observation.sim_state	float32	[45]
reward	float32	[1]
done	bool	[1]
success	bool	[1]
is_first	bool	[1]
is_last	bool	[1]
is_terminal	bool	[1]
source_demo_index	int64	[1]
observation.images.agentview	video (AV1)	224×224×3, 20fps
observation.images.eye_in_hand	video (AV1)	224×224×3, 20fps
observation.images.insertion	video (AV1)	224×224×3, 20fps
observation.object	float32	[28]
observation.robot0_eef_pos	float32	[3]
observation.robot0_eef_quat	float32	[4]
observation.robot0_eef_vel_ang	float32	[3]
observation.robot0_eef_vel_lin	float32	[3]
observation.robot0_gripper_qpos	float32	[2]
observation.robot0_gripper_qvel	float32	[2]
observation.robot0_joint_pos	float32	[7]
observation.robot0_joint_pos_cos	float32	[7]
observation.robot0_joint_pos_sin	float32	[7]
observation.robot0_joint_vel	float32	[7]
timestamp	float32	[1]
frame_index	int64	[1]
episode_index	int64	[1]
index	int64	[1]
task_index	int64	[1]

视频编码信息

• 编码器: AV1
• 像素格式: yuv420p
• 帧率: 20 fps
• CRF: 30
• 分辨率: 224×224

---

新增相机视角说明

该数据集在原有两个相机视角（agentview 和 eye_in_hand）的基础上，通过仿真状态重放新增了第三个视角 observation.images.insertion，分辨率同样为224×224。

设计动机

原有腕部相机（eye_in_hand）沿夹爪轴线朝下看，导致三脚架（tripod）的钻孔（bore）不可见。新增相机被放置于能够透过钻孔直视的位置，使得针-孔对准（needle-to-hole alignment）过程可直接观测而非推断。

相机安装参数

该相机固定在 robot0_right_hand 坐标系中的一个固定位姿，通过在episode 0最近接近帧处瞄准针/三脚架中点一次性求解获得，并保持不变地复用于所有episode。安装参数如下：

• 局部位置 (cam_pos_local): [-0.19815, -0.035687, 0.078038]
• 局部四元数 (cam_quat_local): [-0.322727, 0.517794, 0.611714, -0.50353]（w, x, y, z顺序）

参数同时存储于 meta/insertion_camera.json。

编码一致性

新增视角与原有两个视角编码参数完全一致（AV1, yuv420p, 20 fps, crf 30），且每个episode的视频时间戳与源 agentview 视频完全一致。

已知限制

由于相机安装在移动的手部上，每个episode的前半部分三脚架可能移出画面。该视角本质上是插入阶段视角，设计用于与其他两个视角协同使用，而非替代它们。