g1_desktop_handover_white_hammer
收藏资源简介：
该数据集名为g1_desktop_handover_white_hammer，基于Unitree G1人形机器人，配备Inspire灵巧手，通过双人桌面遥操作采集。任务目标是拿起白色锤子并递给操作员。数据集包含50个演示片段（episodes），总计15400帧，时长约8.6分钟，帧率为30fps。状态和动作空间均为26维，具体包括：左右手臂的6个关节（肩部俯仰/滚转/偏航、肘部、腕部滚转/俯仰/偏航）以及左右手的5个手指关节（小指、无名指、中指、食指、拇指弯曲、拇指旋转），手部数值为真实的Inspire传感器测量值，范围0到1（0闭合，1张开）。数据集提供4个摄像头视图：胸部摄像头（原始图像及手部叠加图像）、头部摄像头（原始图像及手部叠加图像），其中手部叠加图像显示了检测到的人类手部骨架（黄色连杆、橙色关节点）。由于摄像头采集速度低于状态更新速度，部分视频帧存在重复（胸部摄像头重复率36.7%，有效帧率约19.0fps；头部摄像头重复率13.0%，有效帧率约26.1fps）。此外，数据集还包含通过MediaPipe Hands提取的人类手部地标信息，包括归一化坐标、像素坐标、世界坐标以及有效性/置信度分数。加载方式使用LeRobotDataset，格式为v2.1。
The dataset is named g1_desktop_handover_white_hammer. It is based on the Unitree G1 humanoid robot equipped with Inspire dexterous hands, collected via dual-person desktop teleoperation. The task is to pick up a white hammer and hand it to the operator. The dataset contains 50 demonstration episodes, totaling 15,400 frames, with a duration of approximately 8.6 minutes and a frame rate of 30 fps. The state and action spaces are both 26-dimensional, including: 6 joints for each arm (shoulder pitch/roll/yaw, elbow, wrist roll/pitch/yaw) and 5 finger joints for each hand (little finger, ring finger, middle finger, index finger, thumb abduction, thumb rotation). Hand values are real Inspire sensor measurements ranging from 0 to 1 (0 closed, 1 open). The dataset provides 4 camera views: chest camera (raw image and hand overlay image), head camera (raw image and hand overlay image), where the hand overlay images show detected human hand skeletons (yellow links, orange joint points). Due to the camera capture rate being lower than the state update rate, some video frames are duplicated (chest camera duplication rate 36.7%, effective frame rate ~19.0 fps; head camera duplication rate 13.0%, effective frame rate ~26.1 fps). Additionally, the dataset includes human hand landmark information extracted via MediaPipe Hands, including normalized coordinates, pixel coordinates, world coordinates, and validity/confidence scores. The loading method uses LeRobotDataset with format v2.1.
g1_desktop_handover_white_hammer 数据集概述
基本信息
- 任务类型：机器人操作（Robotics）
- 语言：英语（en）
- 许可证：Apache-2.0
- 数据规模：10K < n < 100K
- 格式：LeRobot v2.1
任务描述
拾起白色锤子并递交给人员，在 Unitree G1 人形机器人上通过 Inspire 灵巧手进行双臂桌面遥操作。
数据规模
| 指标 | 数值 |
|---|---|
| 回合数（Episodes） | 50 |
| 总帧数（Frames） | 15,400（约 8.6 分钟 @ 30 fps） |
| 回合长度 | 244–454 帧（中位数 303） |
| 状态/动作维度 | 26-D / 26-D |
| 相机数量与分辨率 | 2 × 640×480 |
状态与动作空间
状态和动作向量均为 26 维，布局如下：
- 0–6：左臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 7–13：右臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数据为 Inspire 真实测量值，范围 0–1（0 为闭合，1 为张开）。
视频数据
| 相机键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部原始相机画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部画面叠加手部骨架 | h264 |
observation.images.cam_head |
头部原始相机画面 | h264 |
observation.images.cam_head_hand_overlay |
头部画面叠加手部骨架 | h264 |
*_hand_overlay 视频中叠加了检测到的人手骨架（黄色连线、橙色关节点）。
帧率说明
时间戳以 30 fps 记录，状态每帧更新，但相机采集较慢，重复帧填充：
| 视角 | 重复帧比例 | 有效帧率 |
|---|---|---|
cam_head |
13.0% | ~26.1 fps |
cam_chest |
36.7% | ~19.0 fps |
连续视频帧可能像素相同但状态已变化，若模型假设每帧有新视觉信息，需对图像去重。
人手关键点数据
每帧包含 MediaPipe Hands 检测结果（Parquet 列存储）：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2 只手 × 21 点 × (u, v) 像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z) 归一化坐标 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z) 米制坐标 |
observation.human_hand.<cam>.valid |
[2] | 左手/右手是否在场 |
observation.human_hand.<cam>.score |
[2] | 手性置信度 |
顺序始终为左手在前、右手在后，缺失手部以零填充且 valid = 0，不会出现 NaN。无彩色标志贴片的候选（机器人自身黑白手部）在写入前会被剔除。
数据加载
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_white_hammer")
数据集以 v2.1 格式发布（每回合一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 中加载。若使用 v3.0+，需先执行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_white_hammer
