gr00t_data_omnireset
收藏资源简介：
GR00T数据集是一个用于OmniReset插孔（peg-insertion）任务演示的数据集，可直接用于微调模型。该数据集通过OmniReset的状态版强化学习专家（oracle）在Isaac Sim仿真环境中生成，针对UR5e机械臂搭配Robotiq-2F85夹爪执行插孔操作。数据已打包成GR00T版LeRobot v2.1格式，可直接输入到NVIDIA GR00T N1.7模型进行微调。数据集包含1000条成功演示，采用40/30/20/10的复位状态配方，使用3路相机（分辨率为224×224），采集频率为10 fps，成功率约98%。它涵盖真实的“搬运+插入”任务，光照和物体颜色固定，适合颜色条件视觉语言动作模型。数据分布包括四种复位状态：ObjectAnywhereEEAnywhere（400条，占40%）、ObjectAnywhereEEGrasped（300条，占30%）、ObjectRestingEEGrasped（200条，占20%）和ObjectPartiallyAssembledEEGrasped（100条，占10%），peg到孔的起始距离平均为0.21米。数据集支持直接训练，格式与GR00T官方对齐，动作维度为7维（相对末端增量+二值夹爪），状态维度为7维（6关节角+夹爪）。
The GR00T dataset is a demonstration dataset for the OmniReset peg-insertion task, directly usable for fine-tuning. It is generated by the state-based reinforcement learning expert (oracle) of OmniReset in the Isaac Sim simulation environment, targeting the UR5e robotic arm with a Robotiq-2F85 gripper for peg insertion operations. The data is packaged in the GR00T version of LeRobot v2.1 format and can be directly input into the NVIDIA GR00T N1.7 model for fine-tuning. The dataset contains 1000 successful demonstrations, using a 40/30/20/10 reset state formulation, with 3 cameras (resolution 224×224) and a collection frequency of 10 fps, achieving a success rate of approximately 98%. It covers real transport + insertion tasks with fixed lighting and object colors, making it suitable for color-conditioned vision-language-action models. The data distribution includes four reset states: ObjectAnywhereEEAnywhere (400 entries, 40%), ObjectAnywhereEEGrasped (300 entries, 30%), ObjectRestingEEGrasped (200 entries, 20%), and ObjectPartiallyAssembledEEGrasped (100 entries, 10%), with an average starting distance of 0.21 meters from peg to hole. The dataset supports direct training, aligns with the official GR00T format, and has an action dimension of 7 (relative end-effector increment + binary gripper) and a state dimension of 7 (6 joint angles + gripper).
GR00T 数据集: OmniReset 插孔 (peg-insertion)
数据集概述
- 任务类型: 机器人操控（robotics），具体为插孔任务（peg-insertion）
- 许可协议: Apache-2.0
- 数据规模: 1000 条成功演示
- 采集环境: NVIDIA Isaac Sim 仿真环境
- 机器人平台: UR5e 机械臂 + Robotiq-2F85 夹爪
- 数据格式: LeRobot v2.1（GR00T 兼容格式），可直接用于 NVIDIA GR00T N1.7 微调
- 帧率: 10 fps
- 分辨率: 3 路相机，224×224 像素
数据分布
数据集包含四种复位状态（初始条件），按 40/30/20/10 配方分布：
| 复位状态 | 含义 | 数量 | 占比 |
|---|---|---|---|
ObjectAnywhereEEAnywhere |
peg 在桌上、未抓取 → 接近+抓取+搬运+插入（最难/最完整） | 400 | 40% |
ObjectAnywhereEEGrasped |
peg 在半空、已抓取 → 搬运+插入 | 300 | 30% |
ObjectRestingEEGrasped |
peg 在桌上、已抓取 → 抬起+搬运+插入 | 200 | 20% |
ObjectPartiallyAssembledEEGrasped |
peg 已部分插入 → 补完插入 | 100 | 10% |
- peg 到孔起始距离: 均值 0.21 m，中位数 0.20 m，最大约 0.58 m
- 成功采集率: 约 98%（真实“搬运+插入”成功率）
- 标签说明:
ObjectAnywhereEEAnywhere类标签精确，其余三类为近似（由轨迹几何推断）
动作与状态空间
- 动作维度: 7 维
[0:6]: 相对末端（OSC）增量控制[6]: 二值夹爪控制- 动作空间:
single_arm= RELATIVE，gripper= ABSOLUTE
- 状态维度: 7 维
- 6 维关节角 + 夹爪状态
目录结构
. ├── README.md ├── state_distribution.png ├── omnireset_peg_insertion/ │ ├── data/ videos/ meta/ │ └── meta/reset_type_per_episode.json # 每条 episode 的复位状态标签 └── finetune/ # 微调配置文件与脚本
生成耗时（单卡 A40）
- 稳定采集速度: 约 35-40 条/分钟
- 本配方新采集: 400 条 A 类 + 81 条 G/P 类，约 20 分钟
- HDF5 → LeRobot 转换（3000 段视频）: 约 15 分钟
快速开始
bash git clone https://github.com/NVIDIA/Isaac-GR00T && cd Isaac-GR00T && uv sync bash /path/to/finetune/finetune.sh /path/to/omnireset_peg_insertion /tmp/gr00t_omnireset_peg
详细说明见 finetune/setup_finetune_zh.md。
来源与参考资料
- OmniReset 专家与资产: UW-Lab/uwlab-assets（ICLR 2026）
- 仿真环境: NVIDIA Isaac Sim / Isaac Lab
- 模型: NVIDIA GR00T N1.7
- 生成代码与文档: yqi19/omnireset_reproduce
