robolab-mg-banana-hard
收藏资源简介：
该数据集是由DAVIAN-Robotics基于MimicGen方法重新实现，在RoboLab（Isaac Lab）基准测试上生成的模拟操作演示数据集，任务为“banana”（香蕉），初始姿态随机化难度为“hard”（位置完全随机化，偏航在±180°范围内），包含3038个成功片段（仅成功演示），生成成功率为0.145。动作采用绝对关节目标，在DROID框架下为7自由度手臂（带有j7安装偏移）加上二进制夹爪（取值0或1），不是增量值。数据来源于源演示（pi05策略rollout），经过MimicGen（以物体为中心的SE(3)重定向）处理。每个片段都在物理引擎中回放，仅存储成功片段。观测包括两个摄像头（肩部上方和手腕）以270x480分辨率、15fps采集，以及本体状态。
This dataset is a simulated manipulation demonstration dataset created by DAVIAN-Robotics based on a reimplementation of the MimicGen method on the RoboLab (Isaac Lab) benchmark. The task is banana, with initial pose randomization difficulty set to hard (full position randomization, yaw within ±180°). It contains 3038 successful episodes (only successful demonstrations), with a generation success rate of 0.145. Actions use absolute joint targets, with a 7-DOF arm (with j7 mount offset) and a binary gripper (values 0 or 1) under the DROID framework, not incremental values. Data originates from source demonstrations (pi05 policy rollout) processed by MimicGen (object-centric SE(3) retargeting). Each episode is replayed in the physics engine, and only successful episodes are stored. Observations include two cameras (shoulder and wrist) at 270x480 resolution, 15fps, and proprioceptive states.
数据集概述：robolab-mg-banana-hard
基本信息
- 数据集名称：robolab-mg-banana-hard
- 许可证：Apache-2.0
- 任务类型：机器人（Robotics）
- 标签：LeRobot、机器人、操作、Isaac Lab、数据生成、MimicGen
数据来源与生成方式
该数据集由 MimicGen 的重实现版本在 RoboLab（Isaac Lab）基准测试上生成，属于生成器 × 任务 × 难度网格中的 12 个单元之一。生成流程为：
- 源演示（pi05 策略 rollout）
- MimicGen（基于物体的 SE(3) 重定向）
- 在物理环境中进行 rollout，仅存储成功片段
任务与难度配置
| 配置项 | 详情 |
|---|---|
| 任务 | banana |
| 初始位姿随机化 | hard — 位置 100%，偏航 ±180° |
| 生成成功率 | 0.145 |
数据规模
- 总片段数：3038（仅包含成功片段）
- 总帧数：744882
- 任务数：1
- 帧率：15 fps
- 数据文件大小：约 100 MB（Parquet）
- 视频文件大小：约 200 MB（MP4）
- 分割：训练集包含全部片段（0-3038）
动作约定（重要）
- 动作类型：DROID 坐标系中的绝对关节目标（7 自由度机械臂，附加 j7 安装偏移）加上二值夹爪（{0, 1}），不是增量（delta）动作。
- 夹爪含义：夹爪通道在采集时已二值化，连续夹爪通道会高估下游策略性能。
数据特征
| 特征 | 维度/形状 | 说明 |
|---|---|---|
| action | 8（float32） | 关节角度（j0-j6）+ 夹爪，15 fps |
| observation.state | 8（float32） | 关节状态（joint_0 - joint_7），15 fps |
| observation.velocity | 8（float32） | 速度信息，15 fps |
| observation.images.over_shoulder_left_camera | 270×480×3（视频） | 肩部左摄像头，15 fps，AVC1 编码 |
| observation.images.wrist_cam | 270×480×3（视频） | 腕部摄像头，15 fps，AVC1 编码 |
| episode_index / frame_index / index / task_index / timestamp / next.done | 标量 | 元数据辅助字段 |
注意事项与局限性
- 仅包含成功片段：失败模式未在数据中体现。
- 成功判据：由环境中 K 步稳定（保持）准则定义，非单帧判定。
- 观测配置：两个摄像头（肩上 + 腕部）分辨率为 270×480，15 fps，以及本体感觉状态。
- 数据预处理：已预先计算分位数统计（q01/q99），视频被重新编码为恒定帧率，以兼容基于 torchcodec 的数据加载器。
- 实现说明：这是对已发表方法的重实现，非原作者代码。论文中未指定的若干超参数由本数据集作者自行选择。
可视化
可通过 LeRobot 数据集可视化工具 进行可视化查看。
