robolab-mg-food-hard
收藏资源简介：
该数据集是通过MimicGen（重新实现版本）在RoboLab（Isaac Lab）基准测试上生成的模拟操作演示。具体针对food（食物）任务，初始姿态随机化程度为hard（困难），即位置随机化范围100%，偏航角±180°。数据集包含3021个成功的情节（episode），生成成功率为0.190。动作空间包括DROID框架中的绝对关节目标（7自由度臂加上j7安装偏移量）以及一个二值化的夹爪（取值为0或1）。注意：动作不是增量值，连续夹爪通道会高估下游策略性能，因此采集时进行了二值化。数据是通过将源演示（pi05策略的rollout）输入MimicGen（基于对象的SE(3)重定向）生成的，每个情节在物理环境中执行，仅存储成功的情节。成功由环境中的K步稳定（保持）准则定义，而非单帧。观测数据来自两个摄像头（肩上方和手腕）的270x480分辨率、15 fps图像，以及本体感受状态。数据集还提供了分位数统计（q01/q99）预计算值，视频被重新编码为恒定帧率以兼容torchcodec数据加载器。注意：这是对已发表方法的重新实现，而非原始作者代码，部分超参数由我们自行选择。
This dataset is a collection of simulated manipulation demonstrations generated by MimicGen (our reimplementation, not the original authors code) on the RoboLab (Isaac Lab) benchmark. It corresponds to one of the 12 cells in the generator × task × difficulty grid, with generator = MimicGen, task = food, and initial pose randomization level = hard (position randomization 100%, yaw angle ±180°). The dataset contains 3021 successful episodes, with a generation success rate of 0.190. Actions are absolute joint targets (7-DOF arm plus j7 mounting offset) from the DROID framework, plus a binarized gripper (value 0 or 1). Note: actions are not incremental; continuous gripper channels would overestimate downstream policy performance, so binarization was applied during collection. Data was generated by feeding source demonstrations (pi05 policy rollouts) into MimicGen (object-based SE(3) retargeting), and each episode was executed in the physical environment; only successful episodes were stored. Success is defined by a K-step stable (hold) criterion in the environment, not a single frame. Observations come from two cameras (shoulder and wrist) at 270x480 resolution, 15 fps, plus proprioceptive state. Quantile statistics (q01/q99) are precomputed, and videos are re-encoded to constant frame rate for compatibility with torchcodec data loaders. This is a reimplementation of a published method, not the original authors code; some hyperparameters are chosen by us.
数据集概述：robolab-mg-food-hard
基本信息
- 数据集名称: robolab-mg-food-hard
- 所属组织: DAVIAN-Robotics
- 许可证: Apache-2.0
- 任务类型: 机器人操控（Robotics Manipulation）
- 标签: LeRobot、Isaac Lab、MimicGen、数据生成
数据集描述
该数据集是基于LeRobot框架创建的模拟机器人操控演示数据集，通过MimicGen算法的重新实现，在RoboLab（Isaac Lab）基准测试上生成。这是生成器×任务×难度网格中的12个单元格之一。
关键参数
| 参数 | 值 |
|---|---|
| 生成器 | MimicGen（重新实现版本） |
| 任务 | food |
| 初始位姿随机化 | hard（位置100%，偏航角±180°） |
| 回合数 | 3021（仅成功回合） |
| 生成成功率 | 0.190 |
动作约定
- 动作类型: 绝对关节目标值（DROID坐标系），包含7自由度机械臂（含j7安装偏移）和二进制夹爪（{0, 1}）
- 重要提示: 动作不是增量（delta）值，应用增量变换会导致控制器行为不同
- 夹爪控制: 使用二进制夹爪而非连续值，连续值会高估下游策略性能
数据生成流程
- 源演示（pi05策略滚动）→ MimicGen（以物体为中心的SE(3)重定向）→ 物理引擎滚动
- 仅存储成功的回合，失败回合消耗相同的模拟预算
- 难度级别随机化物体的初始位置（位置占任务可行半径的比例，偏航角为半角）
数据集结构
规模统计
- 总回合数: 3021
- 总帧数: 677,165
- 总任务数: 1
- 数据文件大小: 100 MB
- 视频文件大小: 200 MB
- 帧率: 15 fps
- 训练集划分: 0:3021
特征维度
- 动作 (action): 8维（7个关节 + 1个夹爪），float32，15 fps
- 状态观测 (observation.state): 8维（8个关节位置），float32，15 fps
- 速度观测 (observation.velocity): 8维，float32，15 fps
- 图像观测: 两个摄像头（肩部上方左摄像头 + 腕部摄像头），分辨率270×480，RGB 3通道，15 fps
- 其他字段: episode_index、frame_index、index、task_index、timestamp、next.done
注意事项
- 仅包含成功回合，不包含失败模式
- 成功标准基于环境中的K步稳定（保持）准则，而非单帧判断
- 视频已重编码为恒定帧率，以兼容torchcodec数据加载器
- 数据集是重新实现版本，非原始作者代码，部分超参数为自行选择
可视化
可通过LeRobot数据集可视化工具查看：https://huggingface.co/spaces/lerobot/visualize_dataset?dataset=DAVIAN-Robotics/robolab-mg-food-hard&episode=0
