g1_desktop_handover_hammer_head

在Unitree G1机器人上使用Inspire灵巧手进行双手桌面遥操作，采用LeRobot v2.1格式。任务——拿起锤子头部并将其递给人。Bimanual desk teleoperation using Inspire dexterous hands on a Unitree G1 robot, in LeRobot v2.1 format. Task: pick up the hammer head and hand it to a person.

原始信息汇总

数据集概述

g1_desktop_handover_hammer_head 是一个面向机器人操作任务的双手机器人遥操作数据集，基于 Unitree G1 人形机器人和 Inspire 灵巧手采集，采用 LeRobot v2.1 数据格式。该数据集的任务为拿起锤子头部并将其递交给人类。

数据规模

项目	数值
回合数	35
总帧数	11,733 帧（约6.5分钟 @ 30 fps）
回合长度	278–437 帧（中位数 329）
状态/动作维度	26-D / 26-D
相机数量与分辨率	2 × 640×480

状态与动作表示

状态和动作向量均为26维，结构布局相同：

• 左臂（0–6）：肩部俯仰/滚转/偏航、肘部、腕部滚转/俯仰/偏航
• 右臂（7–13）：肩部俯仰/滚转/偏航、肘部、腕部滚转/俯仰/偏航
• 左手（14–19）：小指、无名指、中指、食指、拇指弯曲、拇指旋转
• 右手（20–25）：小指、无名指、中指、食指、拇指弯曲、拇指旋转

手部数值为真实 Inspire 测量值，范围在 0..1（0为握拳，1为张开），非占位符。

视频数据

数据集包含4个视频通道，全部采用 h264 编码：

通道键	内容
observation.images.cam_chest	胸部相机原始画面
observation.images.cam_chest_hand_overlay	胸部相机画面叠加手部骨架
observation.images.cam_head	头部相机原始画面
observation.images.cam_head_hand_overlay	头部相机画面叠加手部骨架

其中 *_hand_overlay 视频为人手骨架叠加画面（黄色连线、橙色关节点）。

帧率注意事项

时间戳以30 fps运行，状态每帧更新，但相机采集较慢，录音中会重复上一帧以补齐。本数据集的实测数据：

视图	重复帧比例	实际帧率
cam_head	3.1%	~29.1 fps
cam_chest	32.9%	~20.1 fps

因此连续视频帧可能像素完全相同而状态已更新。如果你的模型假设每帧都有新的视觉信息，建议对图像进行去重处理。

人手关键点标注

每个相机视图均运行 MediaPipe Hands 模型，结果以 parquet 列的形式存储，从数据集取帧时可直接获得。

列名	形状	内容
observation.human_hand.<cam>.landmarks_uv	[84]	2只手 × 21点 × (u, v) 像素坐标
observation.human_hand.<cam>.landmarks_2d	[126]	2 × 21 × (x, y, z)，归一化
observation.human_hand.<cam>.world_landmarks	[126]	2 × 21 × (x, y, z)，米制单位
observation.human_hand.<cam>.valid	[2]	左右手是否存在
observation.human_hand.<cam>.score	[2]	左右手置信度

顺序始终为左手在前、右手在后；缺失的手以零填充且 valid = 0，绝不使用 NaN。对于色度不全的候选点（如机器人本身的黑白手）会在写入前被剔除。

python uv = frame["observation.human_hand.cam_chest.landmarks_uv"].reshape(2, 21, 2) valid = frame["observation.human_hand.cam_chest.valid"]

加载方式

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_hammer_head")

数据集以 v2.1 布局发布（每个回合一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 中使用。若使用 v3.0+ 版本，需先运行官方升级命令：

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_hammer_head

许可证

Apache-2.0。