g1_desktop_shake_green_cup
收藏资源简介：
本数据集为双臂桌面遥操作任务，使用Unitree G1人形机器人和Inspire灵巧手，采用LeRobot v2.1格式。任务描述：我的目光和指向手势指示要抓取哪个杯子，这暗示了意图动作。数据集包含30个片段（episodes），共10818帧（约6分钟，帧率30fps），每个片段长度在322至398帧之间（中位数360帧）。状态和动作向量均为26维，布局相同：前7维为左臂（肩部俯仰/滚转/偏航、肘部、腕部滚转/俯仰/偏航），7-13维为右臂，14-19维为左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转），20-25维为右手。手部关节值为真实的Inspire测量值，范围0到1（0为闭合，1为张开），并非占位符。视频包含四个视角：cam_chest（胸部原始摄像头）、cam_chest_hand_overlay（叠加了人手骨架的胸部视图）、cam_head（头部原始摄像头）、cam_head_hand_overlay（叠加了人手骨架的头部视图）。叠加视频中显示了检测到的人手骨架（黄色连线，橙色关节点）。此外，数据集还提供了MediaPipe手部关键点数据：每个摄像头视角的landmarks_uv（形状[84]，2只手×21个点×像素坐标(u,v)）、landmarks_2d（形状[126]，2×21×归一化(x,y,z)）、world_landmarks（形状[126]，2×21×公制(x,y,z)）、valid（形状[2]，左右手是否存在）、score（形状[2]，手部置信度）。手部顺序始终为左手在前右手在后，缺失的手以零填充并将valid设为0，不会出现NaN。如果关键点块是消色的（机器人自身的黑白手），则会在写入前被拒绝。加载方式：from lerobot.common.datasets.lerobot_dataset import LeRobotDataset; ds = LeRobotDataset("DaoyuanZhu/g1_desktop_shake_green_cup")。许可证：Apache-2.0。
This dataset is for a dual-arm desktop teleoperation task, using the Unitree G1 humanoid robot and Inspire dexterous hands, in LeRobot v2.1 format. Task description: my gaze and pointing gesture indicate which cup to grasp, implying intentional action. The dataset contains 30 episodes, 10818 frames (approximately 6 minutes at 30fps), with each episode length ranging from 322 to 398 frames (median 360). State and action vectors are both 26-dimensional with the same layout: first 7 dimensions for left arm (shoulder pitch/roll/yaw, elbow, wrist roll/pitch/yaw), 7-13 for right arm, 14-19 for left hand (little finger, ring finger, middle finger, index finger, thumb bend, thumb rotation), 20-25 for right hand. Hand joint values are real Inspire measurements, ranging from 0 to 1 (0 closed, 1 open), not placeholders. Video includes four views: cam_chest (chest raw camera), cam_chest_hand_overlay (chest view with human hand skeleton overlay), cam_head (head raw camera), cam_head_hand_overlay (head view with human hand skeleton overlay). Overlay videos show detected human hand skeleton (yellow lines, orange joints). Additionally, the dataset provides MediaPipe hand keypoints for each camera view: landmarks_uv (shape [84], 2 hands × 21 points × pixel coordinates (u,v)), landmarks_2d (shape [126], 2×21× normalized (x,y,z)), world_landmarks (shape [126], 2×21× metric (x,y,z)), valid (shape [2], whether left/right hand exists), score (shape [2], hand confidence). Hand order is always left first then right; missing hands are zero-padded with valid set to 0, no NaN. If keypoint patches are desaturated (robots own black-and-white hands), they are rejected before writing. Loading: from lerobot.common.datasets.lerobot_dataset import LeRobotDataset; ds = LeRobotDataset("DaoyuanZhu/g1_desktop_shake_green_cup"). License: Apache-2.0.
数据集概述
g1_desktop_shake_green_cup 是一个基于 Unitree G1 人形机器人和 Inspire 灵巧手的双臂桌面远程操作数据集，采用 LeRobot v2.1 格式。
任务说明
任务为——通过目光和指向手势指示要抓取的杯子，从而推断预期动作。
基础数据
| 项目 | 数值 |
|---|---|
| 回合数 | 30 |
| 总帧数 | 10,818 帧（约 6.0 分钟，30 fps） |
| 回合长度 | 322–398 帧（中位数 360） |
| 状态/动作维度 | 26 维 / 26 维 |
| 相机数量 | 2 台，分辨率 640×480 |
状态与动作
状态和动作向量均为 26 维，布局相同：
- 0–6：左臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 7–13：右臂（同上）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（同上）
手部数值为 Inspire 真实测量值，范围 0–1（0 为闭合，1 为张开）。
视频数据
四个视频视图：
cam_chest— 原始相机画面（h264）cam_chest_hand_overlay— 叠加手部骨架（h264）cam_head— 原始相机画面（h264）cam_head_hand_overlay— 叠加手部骨架（h264）
*_hand_overlay 视图在原始画面上绘制检测到的人类手部骨架（黄色线段、橙色关节点）。
帧率注意事项
时间戳为 30 fps，状态每帧变化，但相机实际采集更慢，录制时以重复帧填充：
| 视图 | 重复帧比例 | 有效帧率 |
|---|---|---|
cam_head |
13.7% | ~25.9 fps |
cam_chest |
34.7% | ~19.6 fps |
连续视频帧可能像素级相同而状态已变化，若模型假设每帧都有新视觉信息，需对图像去重。
人手关键点
使用 MediaPipe Hands 对每个相机视图进行处理，结果存储在 parquet 列中：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2 只手 × 21 点 × (u, v) 像素 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z)，归一化 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z)，公制单位 |
observation.human_hand.<cam>.valid |
[2] | 左手/右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 手性置信度 |
顺序始终为左手在前、右手在后；缺失的手以零填充且 valid = 0，不会出现 NaN。无彩色信息的关键点区域（如机器人自身的黑白手）会被拒绝写入。
加载方式
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_shake_green_cup")
数据集以 v2.1 布局发布（每回合一个 parquet 和一段视频），可直接在旧版 LeRobot 上加载。若使用 v3.0+，需先执行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_shake_green_cup
许可证
Apache-2.0。
