g1_desktop_handover_hammer_neck

在Unitree G1人形机器人上使用Inspire灵巧手进行的双手桌面遥操作数据集，采用LeRobot v2.1格式。任务：拿起锤子的颈部并将其递给一个人。包含35个回合，11485帧（约6.4分钟，30fps），每回合时长265-499帧（中位数317）。状态和动作均为26维，包含左右手臂关节和手指关节。手部关节值为真实的Inspire测量值（0-1）。提供4个摄像头视角（胸部、头部及相应手部覆盖图），手部覆盖图叠加了检测到的人类手部骨架。还包含MediaPipe Hands检测的人类手部关键点数据（地标坐标、有效性和置信度）。A bimanual desktop teleoperation dataset collected on the Unitree G1 humanoid robot using Inspire dexterous hands, in LeRobot v2.1 format. Task: pick up the hammer by its neck and hand it to a person. Contains 35 episodes, 11485 frames (approximately 6.4 minutes at 30fps), with episode lengths ranging from 265 to 499 frames (median 317). State and action are both 26-dimensional, including left and right arm joints and finger joints. Hand joint values are real Inspire measurements (0-1). Provides 4 camera views (chest, head, and corresponding hand overlays), with hand overlays showing detected human hand skeletons. Also includes MediaPipe Hands-detected human hand keypoint data (landmark coordinates, validity, and confidence).

原始信息汇总

数据集概述

g1_desktop_handover_hammer_neck 是一个基于 Unitree G1 人形机器人、配备 Inspire 灵巧手的双臂桌面遥操作数据集，采用 LeRobot v2.1 格式。

任务描述

• 任务：拿起锤子颈部并将其递给操作人员。
• 规模：35 个 episode，11485 帧（约 6.4 分钟，30 fps）。episode 长度 265–499 帧（中位数 317）。
• 状态/动作维度：均为 26 维。
• 相机配置：2 个 640×480 分辨率的摄像头。

状态与动作格式

两个向量均为 26 维，布局相同：

• 0–6：左臂肩关节（pitch/roll/yaw）、肘关节、腕关节（roll/pitch/yaw）
• 7–13：右臂肩关节（pitch/roll/yaw）、肘关节、腕关节（roll/pitch/yaw）
• 14–19：左手手指（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
• 20–25：右手手指（小指、无名指、中指、食指、拇指弯曲、拇指旋转）

手部数值为 真实 Inspire 测量值（范围 0–1，0 为握紧，1 为张开），非占位符。

视频数据

键名	内容	编码
observation.images.cam_chest	胸部相机原始画面	h264
observation.images.cam_chest_hand_overlay	胸部相机手部叠加画面	h264
observation.images.cam_head	头部相机原始画面	h264
observation.images.cam_head_hand_overlay	头部相机手部叠加画面	h264

*_hand_overlay 为同一视角叠加检测到的人手骨架（黄色连线、橙色关节点）。

帧率说明

时间戳以 30 fps 运行，observation.state 每帧更新，但相机采集速率较慢，录制时重复前一帧填充。实测：

• cam_head：重复帧占比 6.3%，有效帧率约 28.1 fps
• cam_chest：重复帧占比 38.0%，有效帧率约 18.6 fps

模型若假设每帧均有新视觉信息，需对图像去重。

人手关键点数据

通过 MediaPipe Hands 对每个相机视图处理，结果以 parquet 列存储。列结构与形状：

列名	形状	内容
observation.human_hand.<cam>.landmarks_uv	[84]	2 只手 × 21 点 × (u, v) 像素坐标
observation.human_hand.<cam>.landmarks_2d	[126]	2 × 21 × (x, y, z)，归一化
observation.human_hand.<cam>.world_landmarks	[126]	2 × 21 × (x, y, z)，公制单位
observation.human_hand.<cam>.valid	[2]	左右手是否存在
observation.human_hand.<cam>.score	[2]	手性置信度

数据顺序始终为左手在前，右手在后；缺失的手以零填充且 valid = 0，不会出现 NaN。对于无彩色特征的关键点区域（机器人自身黑白手）会在写入前剔除。

加载方式

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_hammer_neck")

数据集采用 v2.1 布局（每个 episode 一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 中加载。若使用 v3.0+，需先执行官方升级命令：

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_hammer_neck

许可证

Apache-2.0。