robolab-mgh-mustard-soft

该数据集包含由MimicGen重现在RoboLab（Isaac Lab）基准上生成的模拟操作演示。具体任务为“mustard”，初始位姿随机化级别为“soft”（位置在可行半径的20%内，偏航角0°），共3063个成功片段，生成成功率为0.360。动作采用DROID框架下的绝对关节目标（7自由度加上二进制夹爪）。观测数据包括两个摄像头（肩上方和腕部）的270x480分辨率、15fps的视频，以及本体感觉状态。该数据集仅包含成功片段，失败模式未包含。数据由MimicGen（物体中心SE(3)重定向）从源演示生成，每个片段经过物理仿真并仅存储成功的。This dataset contains simulated manipulation demonstrations generated by MimicGen on the RoboLab (Isaac Lab) benchmark. The specific task is mustard with an initial pose randomization level of soft (position within 20% of feasible radius, yaw angle 0°), totaling 3063 successful episodes with a generation success rate of 0.360. Actions use absolute joint targets (7 degrees of freedom plus binary gripper) under the DROID framework. Observations include 270x480 resolution, 15fps videos from two cameras (shoulder and wrist) and proprioceptive states. The dataset contains only successful episodes, excluding failure modes. Data is generated by MimicGen (object-centric SE(3) retargeting) from source demonstrations, with each episode physically simulated and only successful ones stored.

原始信息汇总

数据集概述

robolab-mgh-mustard-soft 是一个由 MimicGen（本研究团队复现实现）在 RoboLab (Isaac Lab) 基准上生成的模拟操作演示数据集。数据集遵循 Apache-2.0 许可证，适用于机器人操作（manipulation）任务。

核心信息

项目	内容
任务	mustard（芥末酱任务）
生成器	MimicGen（团队复现，非原作者代码）
初始位姿随机化	soft — 位置随机为可行半径的 20%，偏航角 0°
总片段数	3063（仅成功片段）
生成成功率	0.360
总帧数	748,313
总任务数	1
帧率	15 fps
数据切分	train: 0-3063（全部数据用于训练）

动作约定（训练前必读）

• 动作为DROID坐标系中的绝对关节目标（7自由度机械臂，包含 j7 安装偏移），加上二值夹爪 {0, 1}。
• 动作不是增量/差分形式，叠加差分变换会静默产生不同的控制器行为。
• 夹爪通道为二值化处理：连续夹爪通道会高估下游策略性能，因此在数据采集时已进行二值化。

数据生成方式

1. 源演示（pi05 策略 rollout）→ MimicGen（以物体为中心的 SE(3) 重定向）；
2. 每个片段在物理引擎中完整 rollout，仅存储成功片段；
3. 生成成功率也是成本驱动因素：失败片段与成功片段消耗相同的模拟预算；
4. 难度级别通过随机化物体的初始位置（按任务可行半径的百分比）和偏航角（半角）实现。

重要注意事项

• 仅包含成功片段，不体现失败模式。
• 成功由环境中 K 步稳定（保持）准则定义，而非单帧判断。
• 观测包含两个摄像头（过肩 + 手腕），分辨率为 270x480，15 fps，另有本体感觉状态。
• 分位数统计（q01/q99）已预计算，视频重新编码为恒定帧率以兼容 torchcodec 数据加载器。
• 本数据集为团队对已发表方法的复现，部分论文未明确的超参数由团队自行选择。

数据特征 (Features)

特征	类型	形状	说明
action	float32	[8]	关节目标（j0-j6）+ 二值夹爪，15 fps
observation.state	float32	[8]	机器人关节状态（joint_0 至 joint_7），15 fps
observation.velocity	float32	[8]	速度信息
observation.images.wrist_cam	video	270×480×3	手腕相机视频，15 fps，avc1 编码
observation.images.over_shoulder_left_camera	video	270×480×3	过肩左相机视频，15 fps，avc1 编码
episode_index / frame_index / index / task_index / timestamp / next.done	标量	—	元数据字段

数据规模

• 数据文件（parquet）约 100 MB，视频文件约 200 MB。
• 数据存储路径：data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频存储路径：videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

引用信息

论文引用信息暂未提供（[More Information Needed]）。