mimicgen_threading_d0_224x224_mtdit_flow_55k_success_seg

Name: mimicgen_threading_d0_224x224_mtdit_flow_55k_success_seg
Creator: chomeed
Published: 2026-09-05T13:24:09+08:00

Hugging Face2026-09-05 更新2026-09-05 收录

数据链接：

https://huggingface.co/datasets/chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_success_seg 数据链接链接失效反馈

官方服务：

资源简介：

该数据集是基于LeRobot格式的机器人穿线任务（mimicgen_threading）演示数据集。原始数据集为chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_success，经过裁剪，每个episode仅保留从机械臂抓取到任务终止的片段。包含100个episode，共17368帧（占原始帧的78%），所有episode均为成功（奖励）episode。数据以20 fps采样，图像分辨率为224x224。特征包括：7维动作、37维机器人状态、45维仿真状态、奖励、完成标志、成功标志、帧索引、episode索引、时间戳、以及两个摄像头图像（agentview和eye_in_hand）。机器人类型为Panda。数据集分为训练集（0:100）。终止点定义：对于奖励episode，终止点为奖励首次大于0的帧；对于非奖励episode，终止点为抓取后针与三脚架偏移最接近成功episode终点的帧。裁剪后的episode确保内部一致性，帧索引、时间戳等重新编号。

This dataset is a demonstration dataset for the robot threading task (mimicgen_threading) in LeRobot format. The original dataset is chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_success, which has been cropped to retain only the segment from the moment the gripper grasps the object to the termination of the task for each episode. It contains 100 episodes with a total of 17,368 frames (78% of the original frames), and all episodes are successful (rewarded) episodes. The data is sampled at 20 fps with an image resolution of 224x224. Features include: 7-dimensional action, 37-dimensional robot state, 45-dimensional simulation state, reward, done flag, success flag, frame index, episode index, timestamp, and two camera images (agentview and eye_in_hand). The robot type is Panda. The dataset is split into training set (0:100). The termination point is defined as: for rewarded episodes, the termination point is the first frame where reward > 0; for non-rewarded episodes, the termination point is the frame where the offset between the needle and the tripod after grasping is closest to the termination point of successful episodes. The cropped episodes ensure internal consistency, with frame indices and timestamps renumbered.

提供机构：

chomeed

创建时间：

2026-09-05

原始信息汇总

数据集概述

chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_success_seg 是一个面向机器人操作任务的机器人数据集，基于源数据集 chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_success 进行剪辑生成，专注于穿针引线（threading）任务中的抓取至任务终止片段。

基本信息

数据集名称：chomeed/mimicgen_threading_d0_224x224_mtdit_flow_55k_success_seg
许可证：Apache-2.0
任务类别：机器人（robotics）
使用框架：LeRobot（Hugging Face 开源机器人学习框架）
机器人类型：Panda（Franka Panda 机械臂）
采样频率：20 fps
任务数：1（threading，穿针引线）

数据集构成

总片段（episodes）：100
总帧数：17,368 帧（来自源数据的 22,392 帧，保留 78%）
数据文件格式：Parquet（data/*/*.parquet）
视频文件大小：约 200 MB
数据文件大小：约 100 MB
划分：训练集（train）包含全部 100 个片段

剪辑规则

数据集将源数据集中每个 episode 裁剪为从 抓取（grasp）→ 终止（terminal） 的闭区间片段，去除了接近（approach）和结果后（post-outcome）帧，保留“针在手中并尝试插入”的关键过程。

起点（抓取帧）定义

末端执行器与针的距离 ≤ 80 mm 的首帧，且后续 40 帧中超过 90% 的帧仍低于阈值（避免抓取过程中的“飞掠”误触发）。
距离使用 observation.state[0:3]（末端执行器位置）与 observation.state[9:12]（针位置）计算。由于坐标原点偏移，实际最小距离约 59 mm，永远不会达到 0。

终点（终止帧）定义

成功 episode：终止帧为第一个 reward > 0 的帧（即针被判定为穿入的时刻）。
失败 episode：终止帧为抓取后，针与三脚架偏移量在欧氏距离上最接近成功 episode 终止状态的帧（“最接近成功的失败”）。参考偏移量 ref = [0.8, 31.0, 89.4] mm，为源数据集中所有成功 rollout 首帧奖励时 observation.state[9:12] - observation.state[23:26] 的均值。
最短长度：片段少于 20 帧（1 秒）则丢弃（实际无 episode 被丢弃）。

数据剪辑后的变更

列名	变更方式
`frame_index`, `index`, `timestamp`	从 0 重新编号
`episode_index`	重新稠密编号
`is_first`	新片段首帧为 `True`
`is_last`, `done`	新片段末帧为 `True`
`is_terminal`	仅当 episode 成功时为 `True`（失败片段视为截断保持 `False`，可引导可引导的状态）

以下内容不变：reward、success、source_demo_index、observation.*、action。

数据特征结构

每个样本包含以下特征（features）：

action：float32，形状 [7]
observation.state：float32，形状 [37]
observation.sim_state：float32，形状 [45]
reward：float32，形状 [1]
done、success、is_first、is_last、is_terminal：bool，形状 [1]
source_demo_index、frame_index、episode_index、index、task_index：int64，形状 [1]
timestamp：float32，形状 [1]
图像观测：
- observation.images.agentview：视频，224×224×3，20 fps，AV1 编码
- observation.images.eye_in_hand：视频，224×224×3，20 fps，AV1 编码
其余状态观测（observation.object、observation.robot0_eef_pos、observation.robot0_eef_quat、observation.robot0_eef_vel_ang、observation.robot0_eef_vel_lin、observation.robot0_gripper_qpos、observation.robot0_gripper_qvel、observation.robot0_joint_pos、observation.robot0_joint_pos_cos、observation.robot0_joint_pos_sin、observation.robot0_joint_vel）均为 float32 向量。