g1_desktop_shake_orange_cup_left_hand

这是一个在Unitree G1机器人上使用Inspire灵巧手进行双手桌面遥操作的数据集，任务为摇杯子。数据集采用LeRobot v2.1格式，包含30个episode，共17617帧（约9.8分钟，30帧/秒），每个episode长度在434到818帧之间（中位数595帧）。状态和动作向量均为26维，布局相同：前7维为左臂（肩部俯仰/横滚/偏航、肘部、腕部横滚/俯仰/偏航），接下来7维为右臂，然后6维为左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转），最后6维为右手。手部数值为真实Inspire测量值，范围0到1（0闭合，1张开）。视频包含两个摄像头视角：cam_chest和cam_head，以及对应的手部叠加视图（显示检测到的人类手部骨架，黄色线条和橙色关节点）。帧率方面，时间戳以30帧/秒运行，但摄像头捕获较慢，导致部分帧重复（cam_head约21.8%重复，有效帧率约23.5帧/秒；cam_chest约15.3%重复，有效帧率约25.4帧/秒）。此外，数据集还包含MediaPipe Hands在每帧上检测的人类手部关键点，以parquet列形式存储，包括landmarks_uv（84维，2只手×21点×（u,v）像素）、landmarks_2d（126维，2×21×（x,y,z）归一化）、world_landmarks（126维，2×21×（x,y,z）米制）、valid（2维，左右手是否存在）、score（2维，手部置信度）。缺失的手部用零填充，valid为0。加载方式：使用lerobot库的LeRobotDataset。This dataset contains bimanual tabletop teleoperation data collected on a Unitree G1 robot with Inspire dexterous hands, using the LeRobot v2.1 format. The task is shaking a cup. It includes 30 episodes totaling 17,617 frames (approximately 9.8 minutes at 30 fps), with episode lengths ranging from 434 to 818 frames (median 595). The state and action vectors are both 26-dimensional with the same layout: first 7 for left arm (shoulder pitch/roll/yaw, elbow, wrist roll/pitch/yaw), next 7 for right arm, then 6 for left hand (little, ring, middle, index, thumb bend, thumb rotation), and last 6 for right hand. Hand values are real Inspire measurements ranging from 0 (closed) to 1 (open). Video includes two camera views: cam_chest and cam_head, with hand overlay views showing detected human hand skeletons (yellow lines and orange joints). Frame rate is nominally 30 fps but camera capture is slower, resulting in duplicated frames (cam_head ~21.8% duplicates, effective ~23.5 fps; cam_chest ~15.3% duplicates, effective ~25.4 fps). Additionally, MediaPipe Hands detected human hand keypoints are stored per frame as parquet columns: landmarks_uv (84-dim, 2 hands × 21 points × (u,v) pixels), landmarks_2d (126-dim, 2×21×(x,y,z) normalized), world_landmarks (126-dim, 2×21×(x,y,z) metric), valid (2-dim, whether left/right hand present), and score (2-dim, hand confidence). Missing hands are zero-padded with valid=0. Loading is done via the LeRobotDataset from the lerobot library.

原始信息汇总

数据集概述：g1_desktop_shake_orange_cup_left_hand

这是一个用于机器人操作任务的双臂桌面遥操作数据集，基于Unitree G1人形机器人和Inspire灵巧手采集，采用LeRobot v2.1 格式发布。

任务与规模

• 任务：摇杯子（shake cup）
• 片段数：30 个
• 总帧数：17,617 帧（约 9.8 分钟，30 fps）
• 片段长度：434–818 帧（中位数 595）
• 状态/动作维度：26 维 / 26 维
• 相机：2 个 640×480 分辨率相机

状态与动作空间

状态和动作向量均为 26 维，布局相同：

• 0–6：左臂（肩部俯仰/横滚/偏航、肘部、腕部横滚/俯仰/偏航）
• 7–13：右臂（肩部俯仰/横滚/偏航、肘部、腕部横滚/俯仰/偏航）
• 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
• 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）

手部数值为真实的Inspire测量值，范围 0–1（0 为闭合，1 为张开），非占位符。

视频数据

键名	内容	编码
observation.images.cam_chest	cam_chest — 原始相机画面	h264
observation.images.cam_chest_hand_overlay	cam_chest_hand_overlay — 手部叠加画面	h264
observation.images.cam_head	cam_head — 原始相机画面	h264
observation.images.cam_head_hand_overlay	cam_head_hand_overlay — 手部叠加画面	h264

*_hand_overlay 片段为同一视角叠加了检测到的人手骨骼（黄色连线、橙色关节点）。

帧率注意事项

时间戳以 30 fps 运行且 observation.state 每帧更新，但相机实际采集速度较慢，录制时用前帧填充。实测重复帧率：

视角	重复帧占比	有效帧率
cam_head	21.8%	~23.5 fps
cam_chest	15.3%	~25.4 fps

因此，连续视频帧可能像素完全相同而状态已更新。若模型假设每帧包含新的视觉信息，需对图像去重。

人手关键点数据

使用 MediaPipe Hands 对每个相机视角进行检测，结果以 parquet 列形式存储：

列名	形状	内容
observation.human_hand.<cam>.landmarks_uv	[84]	2 只手 × 21 个点 × (u, v) 像素坐标
observation.human_hand.<cam>.landmarks_2d	[126]	2 × 21 × (x, y, z)，归一化坐标
observation.human_hand.<cam>.world_landmarks	[126]	2 × 21 × (x, y, z)，公制坐标
observation.human_hand.<cam>.valid	[2]	左手/右手是否存在
observation.human_hand.<cam>.score	[2]	手性置信度

顺序始终为左手在前、右手在后；缺失的手以零填充且 valid = 0，绝不使用 NaN。对于色度异常（机器人自身的黑白手）的候选点会在写入前被剔除。

加载方式

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_shake_orange_cup_left_hand")

以 v2.1 布局发布（每个片段一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 上加载。在 v3.0+ 上请先运行官方升级命令：

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_shake_orange_cup_left_hand

许可协议

Apache-2.0。