robolab-mgh-food-medium

该数据集是通过我们重新实现的MimicGen（而非原作者代码）在RoboLab（Isaac Lab）基准上生成的模拟操作演示。它属于一个生成器×任务×难度网格（MimicGen）或生成器×源计数网格（PGDG）中的一个单元格。具体配置：生成器为MimicGen（我们的重新实现），任务为food，初始姿态随机化程度为中等（位置随机化50%，偏航角±25°），共包含3060个成功片段（仅包含成功案例），生成成功率为0.460。动作采用DROID框架中的绝对关节目标（7自由度臂加上j7安装偏移量）加上二进制夹爪{0,1}，不是增量值。数据通过源演示（pi05策略滚动）经过MimicGen（面向对象的SE(3)重定向）生成，每个片段在物理仿真中执行并仅存储成功案例。观测包括两个摄像头（肩上方和手腕）在270x480分辨率、15fps下的图像，以及本体感受状态。This dataset is a simulated manipulation demonstration generated by our re-implementation of MimicGen (not the original authors code) on the RoboLab (Isaac Lab) benchmark. It belongs to a cell in a generator×task×difficulty grid (MimicGen) or generator×source count grid (PGDG). Specific configuration: generator is MimicGen (our re-implementation), task is food, initial pose randomization is medium (position randomization 50%, yaw ±25°), containing 3060 successful episodes (only successful cases), with a generation success rate of 0.460. Actions use absolute joint targets (7-DoF arm plus j7 mounting offset) from the DROID framework plus binary gripper {0,1}, not incremental values. Data is generated from source demonstrations (pi05 policy rollouts) via MimicGen (object-oriented SE(3) redirection), each episode executed in physics simulation and only successful cases are stored. Observations include images from two cameras (shoulder top and wrist) at 270x480 resolution, 15fps, and proprioceptive states.

原始信息汇总

数据集概述

robolab-mgh-food-medium 是一个用于机器人操作任务模拟演示的数据集，由 MimicGen 重实现生成，基于 RoboLab（Isaac Lab）基准平台。

基本信息

• 许可证：Apache 2.0
• 任务类别：机器人（Robotics）
• 创建工具：LeRobot
• 生成器：MimicGen（本项目重实现，非原始作者代码）
• 任务：food
• 初始位姿随机化：medium — 位置偏移 50%，偏航角 ±25°

数据规模

• 总回合数：3060（仅包含成功回合）
• 总帧数：802,585
• 任务数量：1
• 生成成功率：0.460
• 帧率：15 FPS
• 数据分割：全部用于训练（0:3060）

动作定义

• 动作类型：绝对关节目标，基于 DROID 坐标系（7 自由度机械臂，包含 j7 底座偏移）
• 额外控制：二元夹爪（{0, 1}）
• 注意事项：动作不是增量（delta）形式的；若在训练时叠加 delta 变换将导致控制器行为不同。夹爪通道在采集时已进行二值化处理，因为连续夹爪通道会高估下游策略性能。

数据生成流程

1. 源演示数据（pi05 策略 rollout）
2. 经 MimicGen 处理（目标中心的 SE(3) 重定向）
3. 所有回合均在物理模拟中执行，仅存储成功回合
4. 生成成功率也反映了计算成本：失败回合与成功回合消耗相同的模拟预算

特征与观测

• 相机：两个摄像头（肩上视角 + 手腕视角），分辨率 270×480，RGB，15 FPS
• 本体感知：8 维状态（7 个关节 + 1 个夹爪）
• 动作空间：8 维（7 个关节 + 1 个二元夹爪），浮点型
• 速度观测：8 维，浮点型

数据格式

• 元数据：meta/info.json（包含版本、规模、分割、特征定义）
• 数据文件：Parquet 格式（data/chunk-*/file-*.parquet）
• 视频文件：MP4 格式（H.264 编码，YUV420P，15 FPS）
• 量化统计：已预计算（q01/q99）
• 视频重编码：已转为恒定帧率，兼容 torchcodec 数据加载器

注意事项

• 仅包含成功回合，未涵盖失败模式
• 成功由环境中的 K 步稳定（保持）准则判定，而非单帧条件
• 该数据集为本项目对已发表方法的重实现，部分论文未明确的超参数由本项目自行设定

可视化

可在 Hugging Face 的 LeRobot 数据集可视化工具中查看：
Open in the LeRobot dataset visualizer

引用信息

BibTeX 引用信息暂未提供。