mimicgen_threading_d0_224x224_mtdit_flow_55k_failure_seg

该数据集是从原始数据集 mimicgen_threading_d0_224x224_mtdit_flow_55k_failure 中裁剪出的子集，每个episode仅保留从抓取到终止的片段。任务为机器人穿线操作，数据集主要包含失败案例。原始100个episodes中有98个被保留，共15391帧（占原始38%）。每个片段起始于机械臂末端执行器接近针的抓取点（距离小于80mm且持续超过90%的后续40帧），终止于奖励第一次大于0的帧（成功）或针与三脚架偏移最接近成功参考状态的帧（失败）。片段长度至少20帧，小于20帧的episode被丢弃。重新索引帧索引、episode索引等，并标记is_terminal仅对成功episode为True。数据集包含图像（agentview和eye_in_hand摄像头，224x224分辨率，20fps）、状态信息（37维）、动作（7维）等。This dataset is a subset cropped from the original dataset mimicgen_threading_d0_224x224_mtdit_flow_55k_failure, where each episode retains only the segment from grasping to termination. The task is robot threading operation, and the dataset mainly consists of failure cases. 98 out of the original 100 episodes are retained, totaling 15,391 frames (38% of the original). Each segment starts when the robot arm end-effector approaches the needle grasp point (distance < 80mm for more than 90% of the subsequent 40 frames), and ends at the frame where the reward first exceeds 0 (success) or the frame where the needle offset relative to the tripod is closest to the successful reference state (failure). Segment length is at least 20 frames; episodes with fewer than 20 frames are discarded. Frame indices, episode indices, etc. are re-indexed, and is_terminal is marked as True only for successful episodes. The dataset includes images (from agentview and eye_in_hand cameras, 224x224 resolution, 20fps), state information (37 dimensions), actions (7 dimensions), etc.

原始信息汇总

数据集概述

该数据集是 chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_failure 数据集的子集，通过从每个原始 episode 中截取 抓取→终止 的片段构建而成，专用于机器人穿线（threading）任务的失败场景分析。

构建方法与规则

• 截取区间：每个 episode 被裁剪为闭区间 [grasp, terminal]，去除任务开始前的接近帧和结果后的帧，仅保留针在手中并尝试插入的部分。
• 起点（grasp）定义：末端执行器与针的距离首次小于 80 毫米 且后续 40 帧中 90% 以上保持该距离的帧（约 59 毫米处为距离下限）。
• 终点（terminal）定义：
  • 有奖励的 episode：第一帧 reward > 0 的时刻（针被判定已穿过）。
  • 无奖励的 episode（所有 _failure 分割及部分奖励通道未触发的演示）：抓取后针与三脚架偏移在欧氏距离上最接近成功 episode 终点参考状态 ref = [0.8, 31.0, 89.4] mm 的帧，即“最接近的未命中”时刻。
• 最小长度：短于 20 帧（1 秒）的片段被丢弃，共有 2 个 episode（源 episode 43 和 56）因此被剔除。

数据规模与统计

项目	数值
保留的 episodes	98 / 100
保留的帧数	15391 / 40000（38%）
有奖励的 episodes	0 / 98
抓取帧位置（平均）	源 episode 的 13%（约第 52 帧）
片段长度（平均 / 最小 / 最大）	157 / 100 / 250 帧
终点残差（中位数 / p90 / 最大）	17.1 mm / 35.5 mm / 100.3 mm

所有片段均以 20 fps 记录。

数据内容与特征

• 任务类型：机器人穿线（threading），单一任务。
• 机器人类型：Panda。
• 传感器数据：
  • 两个摄像头视角：agentview 和 eye_in_hand，均为 224x224x3 的 AV1 编码视频（20 fps）。
  • 状态信息：observation.state（37 维）、observation.sim_state（45 维）、observation.object（28 维）、机器人末端位置、四元数、线速度、角速度、夹爪位置/速度、关节位置/速度及三角函数值等。
• 动作空间：7 维浮点数。
• 元数据：reward、success、done、is_first、is_last、is_terminal、source_demo_index、timestamp、frame_index、episode_index 等字段。

数据裁剪的影响

裁剪后对以下字段进行了重新计算以保持一致性：

字段	变化
frame_index、index、timestamp	在片段内从 0 重新编号
episode_index	在保留的 episodes 上重新连续编号
is_first	新首帧为 True
is_last、done	新末帧为 True
is_terminal	仅当 episode 有奖励时为 True；无奖励片段终止于“接近未命中”处，视为截断，保持 False

不变字段：reward、success、source_demo_index、observation.*、action。

附加说明

• 数据格式：Parquet 文件，路径为 data/*/*.parquet，总大小约 100 MB（数据）+ 200 MB（视频）。
• 分割：训练集包含全部 98 个 episodes（train: 0:98）。
• 用途：该数据集专门用于 RL 训练中的失败分析，其 is_terminal 字段设计允许无奖励片段在接近成功处作为可引导的截断状态，而奖励片段则结束于真实的 MDP 终止状态。
• 许可：Apache 2.0。
• 引用信息：README 中未提供（标记为 [More Information Needed]）。