robolab-mgh-mustard-hard
收藏资源简介：
该数据集包含由我们复现的MimicGen方法在RoboLab（Isaac Lab）基准上生成的模拟操作演示。具体为：生成器为MimicGen（我们的复现，非原作者代码），任务为mustard，初始姿态随机化难度为hard（位置100%，偏航±180°），共3008个成功演示片段，生成成功率为0.121。动作定义为DROID坐标系下的绝对关节目标（7自由度加上二进制夹爪），观测包括两个摄像头（肩上方和腕部）的270x480、15fps图像以及本体状态。
This dataset contains simulated manipulation demonstrations generated by our reproduced MimicGen method on the RoboLab (Isaac Lab) benchmark. Specifically, the generator is MimicGen (our reproduction, not the original authors code), the task is mustard, the initial pose randomization difficulty is hard (position 100%, yaw ±180°), with a total of 3008 successful demonstration episodes, and a generation success rate of 0.121. The action is defined as absolute joint targets in the DROID coordinate frame (7 degrees of freedom plus a binary gripper), and the observations include 270x480, 15fps images from two cameras (shoulder and wrist) and proprioceptive state.
数据集概述
robolab-mgh-mustard-hard 是一个基于 RoboLab（Isaac Lab）仿真环境生成的机器人操作演示数据集，由 MimicGen 方法的重实现版本生成。
基本信息
- 许可证: Apache-2.0
- 任务类别: 机器人（Robotics）
- 生成方法: MimicGen（非原作者代码，为团队重实现）
- 任务名称:
mustard - 初始位姿随机化难度:
hard（位置 100% 随机，偏航角 ±180°） - 总片段数: 3008（仅包含成功片段）
- 生成成功率: 0.121
数据规模与结构
| 项目 | 数值 |
|---|---|
| 总帧数 | 749,712 |
| 任务数 | 1 |
| 分块大小 | 1000 |
| 数据文件大小 | 100 MB |
| 视频文件大小 | 200 MB |
| 帧率 | 15 fps |
| 训练/测试划分 | train: 0:3008（全部为训练集） |
数据特征
- 动作空间: 8 维浮点数组，包含 7 个关节（j0-j6）和 1 个二值化夹爪（gripper，取值 {0, 1}）。
- 动作为 DROID 坐标系下的绝对关节目标值（含 j7 安装偏移），非增量式，使用增量变换会导致控制器行为异常。
- 观测空间:
observation.state: 8 维关节状态（joint_0 至 joint_7）observation.velocity: 8 维速度信息- 两个摄像头图像（270x480，3 通道，15 fps）:
observation.images.wrist_cam（腕部相机）observation.images.over_shoulder_left_camera（肩上方左侧相机）
- 采用 H.264（avc1）编码，YUV420P 像素格式。
- 其他字段:
episode_index,frame_index,index,task_index,timestamp,next.done。
数据生成流程
- 源演示由 pi05 策略 rollout 生成。
- 经 MimicGen 进行以物体为中心的 SE(3) 重定向。
- 所有片段均在物理仿真中 rollout，仅存储成功片段，失败片段消耗相同的仿真预算。
- 难度级别通过随机化物体的初始位置（位置按任务可行半径的百分比随机，偏航按半角随机）实现。
注意事项
- 仅包含成功片段，未包含失败模式。
- 成功判定采用环境中的 K 步稳定（保持）准则，而非单帧判定。
- 已预先计算分位数统计（q01/q99），视频重编码为恒定帧率以适配 torchcodec 数据加载器。
- 数据集为团队对已发表方法的重实现，论文中未指定的超参数由团队自行选择。
可视化
可通过 LeRobot 数据集可视化工具 查看数据集内容。
