g1_desktop_handover_hammer_handle
收藏资源简介：
数据集名为g1_desktop_handover_hammer_handle，涉及在Unitree G1人形机器人上使用Inspire灵巧手进行桌面双手远程操作，任务是用手拿起锤子手柄并将其递给一个人。数据集包含35个episodes，共10371帧（约5.8分钟，每秒30帧），每个episode长度在240到411帧之间（中位数294帧）。状态和动作均为26维向量，包括左右手臂的关节角度（肩部、肘部、手腕）和左右手的手指弯曲与旋转（小指、无名指、中指、食指、拇指弯曲、拇指旋转），手部数值为真实的Inspire测量值（0闭合，1张开）。相机提供2个640x480视图：cam_chest（胸部相机）和cam_head（头部相机），每个视图都有原始画面和叠加了人手骨架的叠加画面。由于相机采样率低于传感器，部分视频帧重复（cam_head约26.2%重复，有效帧率约22.1fps；cam_chest约38.9%重复，有效帧率约18.3fps）。此外，数据集还包含使用MediaPipe Hands检测的人手关键点数据，包括图像坐标、归一化2D坐标、世界坐标（米制）、左右手存在性标志和置信度，缺失的手填充为零且valid为0。数据集格式为LeRobot v2.1，可通过lerobot库加载。
The dataset g1_desktop_handover_hammer_handle involves bimanual teleoperation on a Unitree G1 humanoid robot with Inspire dexterous hands. The task is to pick up a hammer handle with hands and hand it to a person. The dataset contains 35 episodes with a total of 10371 frames (approximately 5.8 minutes at 30 fps). Episode lengths range from 240 to 411 frames (median 294). State and action are 26-dimensional vectors, including joint angles of left and right arms (shoulder, elbow, wrist) and finger bending and rotation of left and right hands (pinky, ring, middle, index, thumb bend, thumb rotation). Hand values are real Inspire measurements (0 closed, 1 open). Cameras provide 2 views at 640x480: cam_chest (chest camera) and cam_head (head camera), each with original and skeleton-overlaid images. Due to lower camera sampling rate, some video frames are duplicated (cam_head ~26.2% duplicate, effective fps ~22.1; cam_chest ~38.9% duplicate, effective fps ~18.3). Additionally, the dataset includes human hand keypoints detected by MediaPipe Hands, including image coordinates, normalized 2D coordinates, world coordinates (in meters), left/right hand presence flags and confidence. Missing hands are filled with zeros and valid=0. Dataset format is LeRobot v2.1, loadable via the lerobot library.
数据集概述
g1_desktop_handover_hammer_handle 是一个用于机器人操作任务的双臂遥操作数据集，基于 Unitree G1 人形机器人和 Inspire 灵巧手，以 LeRobot v2.1 格式发布。
任务描述
- 任务内容：拿起锤子的手柄并递给一个人
- 操作方式：桌面上的双臂遥操作
- 数据集规模：
- 回合数：35
- 总帧数：10371（约 5.8 分钟，30 fps）
- 回合长度：240–411 帧（中位数 294）
- 状态/动作维度：26 维 / 26 维
- 相机数量：2 台（分辨率 640×480）
状态与动作布局
状态和动作向量均为 26 维，共享相同的布局：
- 0–6：左臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 7–13：右臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数值为 真实的 Inspire 测量值，范围在 0–1 之间（0 表示闭合，1 表示张开），并非占位符。
视频数据
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机 + 手部叠加 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机 + 手部叠加 | h264 |
其中 *_hand_overlay 片段为同一视角，叠加了检测到的人手骨骼（黄色连线、橙色关节点）。
帧率说明
时间戳为 30 fps，observation.state 每帧更新，但相机采集速度较慢，录制时保留了前一帧来填充。实测数据：
| 视角 | 重复帧比例 | 有效帧率 |
|---|---|---|
cam_head |
26.2% | ~22.1 fps |
cam_chest |
38.9% | ~18.3 fps |
因此，连续视频帧可能存在像素完全相同的情况，而状态已更新。如果模型假设每一帧都包含新的视觉信息，建议对图像进行去重处理。
人手关键点标注
每个相机视角都运行了 MediaPipe Hands，结果以 parquet 列存储，帧数据已包含这些信息。
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] |
2 只手 × 21 个点 × (u, v) 像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] |
2 × 21 × (x, y, z)，归一化 |
observation.human_hand.<cam>.world_landmarks |
[126] |
2 × 21 × (x, y, z)，米制单位 |
observation.human_hand.<cam>.valid |
[2] |
左右手是否存在 |
observation.human_hand.<cam>.score |
[2] |
手部识别置信度 |
排序始终为左手在前，右手在后；缺失的手以零填充且 valid = 0，不会出现 NaN。对于色度异常（如机器人自身的黑白手）的关键点候选，会在写入前被剔除。
示例代码： python uv = frame["observation.human_hand.cam_chest.landmarks_uv"].reshape(2, 21, 2) valid = frame["observation.human_hand.cam_chest.valid"]
加载方式
使用 LeRobot 库加载： python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_hammer_handle")
数据集以 v2.1 布局发布（每回合一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 上加载。若使用 v3.0 及以上版本，请先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_hammer_handle
许可证
Apache-2.0
