g1_desktop_handover_green_hammer
收藏资源简介：
这是一个基于Unitree G1人形机器人、配备Inspire灵巧手的双手桌面远程操作数据集，采用LeRobot v2.1格式。任务目标为：拿起绿色锤子并递给一个人。数据集包含50个episodes，共17704帧（约9.8分钟，30fps），每段episode长度在265至541帧之间（中位数339帧）。状态和动作向量均为26维，涵盖左右手臂（肩部、肘部、腕部）和左右手（手指弯曲、拇指旋转）的关节控制。相机提供两个视角：cam_chest和cam_head，每个视角包含原始图像和手部叠加图像。此外，还提供了基于MediaPipe的手部关键点数据（包括像素坐标、归一化坐标、世界坐标、有效性及置信度），并按左右手顺序排列。
This is a teleoperation dataset for a dual-arm desktop setup using a Unitree G1 humanoid robot equipped with Inspire dexterous hands, in LeRobot v2.1 format. The task is to pick up a green hammer and hand it to a person. The dataset contains 50 episodes with a total of 17,704 frames (approximately 9.8 minutes at 30 fps), with each episode length ranging from 265 to 541 frames (median 339). Both state and action vectors are 26-dimensional, covering joint control of the left and right arms (shoulder, elbow, wrist) and left and right hands (finger flexion, thumb rotation). Two camera views are provided: cam_chest and cam_head, each including raw images and hand overlay images. Additionally, MediaPipe-based hand keypoint data (including pixel coordinates, normalized coordinates, world coordinates, visibility, and confidence) is provided, arranged in left-right hand order.
数据集概述：g1_desktop_handover_green_hammer
基本信息
- 任务类型：机器人操作（Robotics）
- 语言：英语
- 许可证：Apache-2.0
- 数据规模：10K - 100K 帧
- 数据格式：LeRobot v2.1 格式（每集一个 parquet 文件和一个视频片段）
- 硬件平台：Unitree G1 人形机器人 + Inspire 灵巧手（双臂遥操作）
任务描述
拾取绿色锤子并递交给人类。
数据规模
| 项目 | 数值 |
|---|---|
| 回合数（Episodes） | 50 |
| 总帧数 | 17,704（约9.8分钟 @ 30 fps） |
| 单回合长度 | 265–541 帧（中位数 339） |
| 状态/动作维度 | 26-D / 26-D |
| 相机数量与分辨率 | 2 × 640×480 |
状态与动作空间
状态和动作向量均为26维，布局如下：
- 0–6：左臂（肩关节 pitch/roll/yaw、肘关节、腕关节 roll/pitch/yaw）
- 7–13：右臂（肩关节 pitch/roll/yaw、肘关节、腕关节 roll/pitch/yaw）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数值为真实 Inspire 测量值（0–1 范围，0 为握拳，1 为张开），非占位符。
视频数据
| 数据键 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机带手部叠加层 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机带手部叠加层 | h264 |
*_hand_overlay 视频为同一视角叠加了检测到的人类手部骨架（黄色连线、橙色关节点）。
帧率说明
- 时间戳按30 fps记录，
observation.state每帧更新。 - 相机实际采集速率较慢，缺失帧由前一帧填充。
- 实测重复帧比例与有效帧率：
| 视角 | 重复帧比例 | 有效帧率 |
|---|---|---|
cam_head |
11.3% | ~26.6 fps |
cam_chest |
38.7% | ~18.4 fps |
注意：连续视频帧可能像素完全相同，但状态已更新。若模型假设每帧都有新的视觉信息，需对图像去重。
人类手部关键点（MediaPipe Hands）
每个相机视角运行 MediaPipe Hands，结果以 parquet 列存储，随帧直接提供。
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2只手 × 21点 × (u, v) 像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z)，归一化 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z)，米制单位 |
observation.human_hand.<cam>.valid |
[2] | 左手/右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 手性置信度 |
- 顺序固定为左手在前，右手在后。
- 缺失的手以零填充，
valid = 0，不会出现NaN。 - 无彩色特征的关键点候选（如机器人自身的黑白手）会被拒绝。
加载方式
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_green_hammer")
以 v2.1 布局发布（每回合一个 parquet 和一个视频片段），可直接在旧版 lerobot 上加载。若使用 v3.0+，需先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_green_hammer
许可证
Apache-2.0
