marving+pika

# Dataset for Marvin: Bimanual Box Cleanup 本仓库提供 Marvin 双臂机器人与双 Pika 夹爪的高质量 MuJoCo 专家演示数据、 人工审阅视频、完整模型资产，以及可复现的采集与质量审计代码。 ## 当前数据集 目录：`marvin_pika_box_cleanup_500_diverse_v2/` - 任务：左臂开盖并暂存，右臂抓取方块并放入盒中，左臂重新抓盖、合盖并释放。 - 数量：500 条真实成功轨迹。 - 控制频率：20 Hz。 - 单条长度：1,214-1,625 steps，即 60.70-81.25 秒。 - 数据文件：`dataset.hdf5`，约 543 MB。 - 视频：3 条代表性完整轨迹，包含前视、俯视、侧视三机位。 - 机器人：Marvin CCS M6 双臂 + 双 Pika 夹爪。 - 仿真：MuJoCo + robosuite + DexMimicGen 环境。 - 抓取：GraspGen 离线 proposal + 场景位姿变换 + 多初值 IK + 全路径碰撞检查， 不是单一固定 TCP 姿态或固定关节轨迹。 ## 多样性设计 500 条数据采用严格平衡的 `5 个桌面位置区域 x 5 个物体朝向区间`： - 25 个 diversity profile，每个恰好 20 条成功轨迹； - 五个位置大类各 100 条； - 五个朝向大类各 100 条； - 500 个种子和初始场景状态全部唯一； - 物体初始朝向覆盖 70.88-358.60 度； - 最终数据包含 7 种盖子/物体 GraspGen proposal 组合； - 精确重复轨迹数为 0； - 时间归一化后最近邻关节轨迹 RMS 最小值为 0.0034975 rad。 每条轨迹还会随盒子精确位姿、物体精确位姿、GraspGen 候选、IK 解、关节空间 路径、阶段时长和物理沉降发生变化。 ## 质量保证 只有同时满足以下条件的轨迹才会写入 HDF5： - 盖子确实打开至少 0.10 m，并在末尾复位； - 方块确实抬起至少 0.08 m，并与盒底形成物理接触； - 末尾方块位于盒内，双夹爪均已释放； - 连续至少 8 帧满足严格成功判据； - 盖子位置误差小于 20 mm，旋转误差小于 6 度； - 方块和盖子末速度小于 0.015 m/s； - 盒子位移小于 5 mm； - 抓取保持率不低于 0.95； - 最大关节跟踪误差不超过 0.22 rad； - 通过动作连续性、二阶差分和冗余动作检查； - 未计划机器人碰撞、自碰撞或桌面接触帧数为 0。 完整数值见： `marvin_pika_box_cleanup_500_diverse_v2/quality_audit.json`。 ## 文件结构 ```text marvin_pika_box_cleanup_500_diverse_v2/ ├── dataset.hdf5 ├── quality_audit.json ├── DATASET_SHA256SUMS ├── PACKAGE_SHA256SUMS ├── README.md ├── videos/ │ ├── profile_00_seed_70000.mp4 │ ├── profile_12_seed_70062.mp4 │ └── profile_24_seed_70024.mp4 ├── review/ │ ├── profile00.jpg │ ├── profile12.jpg │ ├── profile24.jpg │ └── profile*.png └── code/ ├── dexmimicgen/ ├── marvin_pika_dexmg/ ├── model_reference/ ├── scripts/ ├── requirements-runtime-lock.txt ├── requirements.txt └── setup.py ``` ## 运行环境 已验证的采集与渲染环境为： - Ubuntu Linux，Python 3.10.12； - robosuite 1.5.2； - MuJoCo 3.9.0； - NumPy 1.23.3、SciPy 1.8.0、h5py 3.12.1； - OpenCV 4.11.0.86、PyYAML 5.4.1、GLFW 2.10.2、PyOpenGL 3.1.10。 完整直接依赖锁定位于 `code/requirements-runtime-lock.txt`。安装方式： ```bash cd marvin_pika_box_cleanup_500_diverse_v2/code python3 -m pip install -r requirements-runtime-lock.txt python3 -m pip install -e . ``` 无显示器采集使用 `MUJOCO_GL=egl`；本机视频复核使用 `MUJOCO_GL=glx`。 ## HDF5 结构 `data/demo_0` 至 `data/demo_499`，每条包含： - `actions`: `(T, 16)` float32； - `states`, `next_states`: `(T, 76)` float32； - `rewards`, `dones`, `stages`； - `obs/robot_qpos`, `obs/robot_qvel`: `(T, 18)`； - `obs/box_pose`, `obs/lid_pose`, `obs/item_pose`: `(T, 7)`； - seed、完整 MuJoCo model XML、profile、成功标记和 JSON 质量指标属性。 训练 HDF5 不内嵌图像，避免无意义扩大数据体积；审阅视频单独提供。 ## 校验 ```bash cd marvin_pika_box_cleanup_500_diverse_v2 sha256sum -c DATASET_SHA256SUMS sha256sum -c PACKAGE_SHA256SUMS ``` 数据集 SHA-256： ```text ed193e7ebc378ef1c1270bd88b38966a2af570842c7514e88c39bf90c5bc3028 ``` ## 说明 这是仿真专家数据，不是遥操作数据。机器人几何、运动学、关节限制、Pika mimic 关节、安装旋转与名义 TCP 已锁定到 `model_reference/` 中记录的老师仓库版本。 MuJoCo 接触和执行器参数属于仿真参数，不代表真实硬件动力学测量值。 数据、DexMimicGen 源码以及第三方模型资产可能适用不同许可证。使用前请查看 `code/LICENSE`、源码文件头和 `model_reference/SOURCE_LOCK.json` 中的来源记录； 本数据集卡不将第三方代码或资产重新许可为 Apache 2.0。