mimicgen_threading_d0_224x224_insertcam

这是一个基于MimicGen的Threading_D0任务的数据集，使用LeRobot v3格式。数据集包含1000个演示片段，共224508帧，帧率为20fps。机器人采用Panda（OSC_POSE控制，控制频率20Hz）。摄像头包括：agentview、eye_in_hand以及一个额外的插入视角（insertion），所有图像分辨率均为224x224。观察状态（observation.state）为37维向量，包含9维本体感知（机器人末端执行器位置、四元数、夹爪位置）和28维特权物体信息。数据集来源于NVIDIA的core/threading_d0.hdf5，仅重新渲染了摄像头图像，其他数据直接复制。许可证为cc-by-4.0。This is a dataset for the Threading_D0 task based on MimicGen, using the LeRobot v3 format. The dataset contains 1000 demonstration episodes with a total of 224,508 frames at 20 fps. The robot is a Panda controlled with OSC_POSE at 20 Hz. Cameras include agentview, eye_in_hand, and an additional insertion view, all with 224x224 resolution. The observation state is a 37-dimensional vector consisting of 9-dimensional proprioception (robot end-effector position, quaternion, gripper position) and 28-dimensional privileged object information. The dataset originates from NVIDIAs core/threading_d0.hdf5, with only camera images re-rendered and other data directly copied. Licensed under cc-by-4.0.

原始信息汇总

mimicgen_threading_d0_224x224 数据集概述

基本信息

• 许可协议: cc-by-4.0
• 任务类别: 机器人（robotics）
• 数据格式: LeRobot v3 格式（包含 parquet 文件）
• 来源: 基于 NVIDIA 发布的 core/threading_d0.hdf5 数据集构建

数据规模

• 演示回合数: 1000
• 总帧数: 224,508
• 帧率: 20 fps
• 机器人平台: Panda（OSC_POSE 控制，控制频率 20 Hz）

传感器与视觉配置

• 摄像头: agentview（主视角）和 eye_in_hand（腕部视角），均以 224x224 分辨率渲染
• 视频编码: AV1 crf 30
• 附加摄像头: observation.images.insertion —— 新增的第三视角，专门用于观察穿线孔洞对齐过程

状态空间

• observation.state 维度为 37，包含：
  • 9 维本体感知：末端执行器位置、四元数姿态、夹爪位置
  • 28 维特权物体状态：物体的完整状态信息
• observation.sim_state 维度为 45，可回放到实时环境中

数据特性

• 任务类型: Threading_D0（穿线任务）
• 成功条件: success == done == (reward > 0)
• 元数据对齐: source_demo_index 与源 HDF5 文件的演示索引一致
• 帧标记: is_first / is_last / is_terminal 仅标记每个回合的首帧和末帧
• 数据来源说明: 仅重新渲染了高清摄像头图像，其他所有列均直接从源 HDF5 复制，属重渲染而非重新仿真

附加摄像头详情

• 安装位置: 固定于 robot0_right_hand 坐标系
• 安装参数: 经过一次求解确定，适用于所有回合和所有数据分割
  • 位置: [-0.19815, -0.035687, 0.078038]
  • 四元数: [-0.322727, 0.517794, 0.611714, -0.50353]
• 用途: 弥补腕部摄像头无法观察三脚架钻孔的缺陷，使针孔对齐过程可视化
• 已知限制: 由于刚性安装在移动的手部，每个回合的前半段三脚架可能超出画面，建议与其他两个摄像头配合使用

质量验证

• 原始 84x84 分辨率下重渲染对比源图像，平均差异为 3.10（主视图）和 0.79（腕部视角），远小于垂直翻转对比的差异（73.5 / 91.0），确认渲染保真度较高。