mhbench_framehang_test
收藏资源简介：
MHBench — FrameHang (G1 × 2) 是一个机器人模仿学习数据集，包含60个成功的双操作员演示，任务为Isaac-FrameHang-G1x2-v0：两个Unitree G1人形机器人协作将一幅4公斤的带框画作从画廊地面抬起，并挂在墙上的一根钉子上。每个机器人由一名操作员通过Meta Quest 3头显控制，采用联邦式双进程Isaac Sim连接。数据集共包含32,637帧，采样频率为50 Hz，对应10.9分钟的模拟演示。数据集的挑战在于‘挂’的动作：每个机器人仅用一只手握住画框（A握左把手，B握右把手），因此无法相互纠正对方的错误，且画框作为1.146×0.882米的刚体，在一侧上升更快时会发生倾斜。目标是将画框顶部导轨上的挂环套在钉子上：先抬起约19厘米以越过钉子末端的旋钮，然后向墙壁移动直到挂环套在钉子上，再降低直至其落入凹槽。两个操作者必须按顺序协调完成这三个步骤，每人只用一只手，并且钉子的位置每次重置时都会变化（沿墙壁上下、前后移动）。数据集于2026-08-20在一次会话中收集，共尝试85次，成功60次，成功由自动检测判定。数据格式为LeRobot v2.1：parquet行、H.264视频和meta/目录。包含训练集（50个演示，26,980帧）和验证集（10个演示，5,657帧），划分基于时间顺序。数据集还提供了详细的布局、状态和动作空间定义、图像信息（包括深度图）、语言指令以及已知限制。
MHBench — FrameHang (G1 × 2) is a robot imitation learning dataset containing 60 successful dual-operator demonstrations for the task Isaac-FrameHang-G1x2-v0: two Unitree G1 humanoid robots collaborate to lift a 4 kg framed painting from the gallery floor and hang it on a nail on the wall. Each robot is controlled by an operator via Meta Quest 3 headset, using a federated dual-process Isaac Sim connection. The dataset comprises 32,637 frames sampled at 50 Hz, corresponding to 10.9 minutes of simulated demonstrations. The challenge lies in the hanging action: each robot uses only one hand to hold the frame (A holds the left handle, B holds the right handle), so they cannot correct each others errors, and the frame, as a rigid body of 1.146×0.882 meters, tilts if one side rises faster. The goal is to fit the hanging ring on the top rail of the frame onto the nail: first lift about 19 cm to clear the knob at the end of the nail, then move toward the wall until the ring engages, and finally lower until it falls into the groove. The two operators must coordinate sequentially to complete these three steps, each using only one hand, and the nail position varies on each reset (moving up/down along the wall and forward/backward). The dataset was collected on 2026-08-20 in a single session, with 85 attempts and 60 successes, determined by automatic detection. The data format is LeRobot v2.1: parquet rows, H.264 video, and meta/ directory. It includes a training set (50 demonstrations, 26,980 frames) and a validation set (10 demonstrations, 5,657 frames), split based on chronological order. The dataset also provides detailed layout, state and action space definitions, image information (including depth maps), language instructions, and known limitations.
MHBench — FrameHang (G1 × 2) 数据集详情
基本信息
- 许可证: Apache-2.0
- 任务类别: 机器人学（robotics）
- 数据规模: 60 条成功演示，32,637 帧，50 Hz，约 10.9 分钟模拟演示
- 数据集大小: n < 1K
- 发布时间: 2026-08-20
任务描述
该数据集展示了双人遥操作任务：两台 Unitree G1 人形机器人协作将一幅 4 kg 的装框画作从画廊地板上抬起，并挂到墙面单个钉子上。每台机器人由一名操作员通过 Meta Quest 3 头显控制，通过分布式双进程 Isaac Sim 链路进行遥操作。
核心难点：每台机器人仅用一只手（A 用左手，B 用右手）握住画作，无法纠正对方的动作。画作尺寸为 1.146 × 0.882 m，若一侧抬升过快会倾斜。任务需要依次完成三个步骤：抬升约 19 cm 以越过钉子末端凸起、向墙面移动使挂环对准钉子、下降使画作落入凹槽。此外，每次重置时钉子的位置会沿墙面随机变化。
数据划分
| 划分 | 集数 | 帧数 |
|---|---|---|
| train | 0–49 | 26,980（50 个演示） |
| val | 50–59 | 5,657（最后录制的 10 个） |
划分基于时间顺序而非随机抽样，val 集为会话尾部的最后 10 条记录。
数据格式
- 格式: LeRobot v2.1（parquet 行、H.264 视频和 meta/ 目录）
- 兼容: 可直接通过 LeRobot 或 GR00T 数据集路径加载
- 关键文件:
meta/info.json、meta/modality.json、meta/episodes.jsonl、meta/tasks.jsonl、meta/mhbench_provenance.json
状态与动作空间
- 状态: 每台机器人 43 个测量关节角（腿 12、腰 3、臂 14、手 14），遵循 NVIDIA G1 全机体规范
- 动作: 每台机器人 35 维（臂关节目标 14、手关节目标 14、腰部目标 3、基座高度命令 1、导航命令 3）
- 关键点: 腿关节仅存在于状态中，不在动作中；每条命令中 16 个维度在此数据集中恒定不变（14 个未使用的手关节 + 2 个基座高度命令）
视觉数据
- 5 条 H.264 视频流，320 × 240 分辨率：两个第一人称视角（ego_a、ego_b）、一个固定第三人称视角（scene）、两个深度流（depth.ego_a、depth.ego_b）
- 深度格式: 无损耗编码，像素值为毫米（双通道编码），可在 Python 中解码
- 渲染方式: 会话后重新渲染，路径追踪 16 样本/像素 + OptiX 降噪器
语言指令
包含三条指令：分别为双人协作指令、机器人 A 的指令（左手持左侧把手）和机器人 B 的指令（右手持右侧把手）。
已知局限性
- 帧为重新渲染，非会话原始像素（几何完全还原，但无法复现时间累积状态）
- 抓取为抽象模拟（磁性表面锁扣，非手指-物体接触解算）
- 两个手关节列为死列：A 的右手和 B 的左手在全部片段中从未使用
- 移动命令极少使用：仅 0.9% 步骤有非零导航命令，28/60 片段完全没有
- 单一场景配置：仅一组操作员、一个场景、一幅画作，钉子位置变化范围有限（±0.05 m）
- 时间顺序划分：val 集会包含操作员行为漂移
- 不含无把手变体版本的数据
