mimicgen_square_d0_224x224_mtdit_flow_40k_failure_seg
收藏资源简介：
该数据集是MimicGen中`square_d0`任务失败案例的集合，所有episode的尾部都被裁剪到结果帧。每个片段从第0帧开始，完整保留机器人的接近过程。共100个episode，21145帧，中位片段长度为176帧（占原始400帧的44%）。裁剪策略基于四种结果类型：`lifted_then_failed`（提升后失败，裁剪到螺母最接近就座姿态的时刻）、`never_reached_nut`（从未到达螺母，保留完整片段）、`failed_grasp`（抓取失败，裁剪到夹爪最接近螺母的时刻）、`rewarded`（此处无成功案例）。此外，每个episode还独立记录了螺母的最终状态标签：`dropped`（掉落）、`never_lifted`（从未提升）、`released_elevated`（在未就座状态下释放）、`held_at_end`（被夹持到结束）。状态空间包含23维：夹爪位置、四元数、开合位置、螺母位置、四元数、相对位置等信息。
This dataset is a collection of failure cases for the `square_d0` task in MimicGen. All episodes are trimmed to the result frame at the end. Each episode starts from frame 0, preserving the robots approach process completely. There are 100 episodes with 21,145 frames, and the median episode length is 176 frames (44% of the original 400 frames). The trimming strategy is based on four result types: `lifted_then_failed` (trimmed to the moment when the nut is closest to the seated pose), `never_reached_nut` (full episode retained), `failed_grasp` (trimmed to the moment when the gripper is closest to the nut), and `rewarded` (no successful cases here). Additionally, each episode independently records the final state label of the nut: `dropped`, `never_lifted`, `released_elevated`, and `held_at_end`. The state space is 23-dimensional, including gripper position, quaternion, gripper opening, nut position, quaternion, relative position, and other information.
数据集概述
该数据集是 chomeed/mimicgen_square_d0_224x224_mtdit_flow_40k_failure 数据集的变体，专注于机器人操作任务（螺母-螺栓装配）中的失败案例，并对每个片段的结尾进行了截止点裁剪处理。
核心特点
- 任务类型: 机器人操作（MimicGen square 任务，涉及螺母装配）
- 数据规模: 全部 100 个片段被保留，共 21145 帧
- 片段属性: 每个片段从第 0 帧开始，保留了完整的操作过程（approach 阶段），只裁剪了结局部分。中位数片段长度为源数据的 176/400 帧（44%）
- 数据格式: Parquet 文件
- 许可证: Apache-2.0
- 数据来源: 基于
chomeed/mimicgen_square_d0_224x224_mtdit_flow_40k_failure数据集，任务、摄像机视角（两个）、采样率（20 fps）和特征结构均一致
裁剪机制（end_kind 标签）
数据集根据不同失败类型，将片段裁剪至特定的关键结局帧。每个片段的 end_kind 标签记录在 meta/segment_info.json 中：
end_kind |
数量 | 裁剪位置说明 |
|---|---|---|
lifted_then_failed |
80 | 裁剪至抓取后螺母最接近就座位置的帧（距离参考点的中位残差 51.6 mm） |
never_reached_nut |
11 | 不裁剪，保留完整片段 |
failed_grasp |
9 | 裁剪至抓取尝试失败的瞬间（抓取器与螺母距离最小的帧） |
特别说明：rewarded 类型在此数据集中不存在（所有片段均为失败案例）。
抓取失败处理
- 抓取尝试定义为：抓取器闭合时距螺母 80 mm 以内，且无需持续保持在螺母附近（因为失败的抓取自然不会保持贴近）。
- 在螺母从未离开桌面的 20 个片段中，有 9 个是真正的抓取尝试（中位裁剪长度 79 帧），11 个从未将抓取器移动到螺母位置。
- 参考点
ref = [228.8, 101.3, 887.2] mm，为标准就座姿态（来自对应的成功数据集）。
逐片段结局标签
独立于裁剪位置，meta/segment_info.json 中还记录了螺母的最终状态：
| 结局标签 | 数量 | 含义 |
|---|---|---|
released_elevated |
45 | 结尾处于抬升状态但远离抓取器——留在销钉上但未就座 |
dropped |
30 | 被抬升超过 30 mm 后掉回桌面 |
never_lifted |
20 | 螺母从未离开桌面（细分为 failed_grasp 或 never_reached_nut） |
held_at_end |
5 | 超时时仍在抓取器中 |
状态数据说明
observation.state 包含 23 维特征，结构如下：
[0:3]抓取器末端位置（eef_pos）[3:7]抓取器末端四元数（eef_quat）[7:9]抓取器关节位置（gripper_qpos）[9:12]螺母位置（nut_pos）[12:16]螺母四元数（nut_quat）[16:19]螺母相对抓取器的位置（nut_to_eef_pos）[19:23]螺母相对抓取器的四元数（nut_to_eef_quat）
注意事项（Caveat）
- 端点残差（endpoint residual）仅对
lifted_then_failed类型有意义（中位数 51.6 mm）。 failed_grasp和never_reached_nut类型的残差约 345 mm，反映的是“螺母从未靠近销钉”的事实，并非实际误差距离。- 这两种失败模式与“试图插入但未成功”不同，属于另一个类别的失败模式，建议在作为奖励模型的负样本时单独处理。
