g1_desktop_pick_cream_bun
收藏资源简介：
在Unitree G1机器人上使用Inspire灵巧手进行的双臂桌面遥操作数据集，采用LeRobot v2.1格式。任务：拿起奶油面包并将其放在盘子上。数据集包含29个episode，共13278帧（约7.4分钟，30 fps），每段episode长度357-603帧。状态和动作均为26维，包括左右手臂各7个关节和左右手各6个手指关节（值范围0-1）。提供4个摄像头视角（胸前、头部及手部叠加视图），其中手部叠加视图显示检测到的人手骨架。帧率存在重复帧问题，有效帧率约为22-25.4 fps。同时包含MediaPipe Hands检测到的人手地标数据（uv坐标、2d/3d坐标、有效性等）。
A bimanual desktop teleoperation dataset using Inspire dexterous hands on the Unitree G1 robot, in LeRobot v2.1 format. Task: pick up the cream bread and place it on the plate. The dataset contains 29 episodes with a total of 13,278 frames (approximately 7.4 minutes at 30 fps), each episode length ranging from 357 to 603 frames. State and action are both 26-dimensional, including 7 joints for each arm and 6 finger joints for each hand (value range 0-1). Provides 4 camera views (chest, head, and hand overlay views), where the hand overlay view shows detected human hand skeletons. There is a duplicate frame issue, with effective frame rate around 22-25.4 fps. Also includes human hand landmark data detected by MediaPipe Hands (uv coordinates, 2D/3D coordinates, validity, etc.).
数据集概述：g1_desktop_pick_cream_bun
基本信息
- 数据集名称：g1_desktop_pick_cream_bun
- 许可证：Apache-2.0
- 任务类型：机器人技术
- 语言：英语
- 标签：LeRobot、机器人技术、人形机器人、Unitree G1、双臂操作、遥操作、Inspire灵巧手、手部姿态
- 数据集大小：10K < n < 100K
- 数据格式：parquet文件（data//.parquet）
任务描述
在Unitree G1人形机器人上，使用Inspire灵巧手进行双臂桌面遥操作，任务为拿起奶油面包并放在盘子上。
数据规模
| 指标 | 数值 |
|---|---|
| 回合数 | 29 |
| 总帧数 | 13,278帧（约7.4分钟，30fps） |
| 单回合长度 | 357–603帧（中位数441帧） |
| 状态/动作维度 | 均为26维 |
| 相机数量 | 2个，分辨率640×480 |
状态与动作空间
状态和动作向量均为26维，布局相同：
- 0–6：左臂（肩部俯仰/横滚/偏航、肘部、腕部横滚/俯仰/偏航）
- 7–13：右臂（肩部俯仰/横滚/偏航、肘部、腕部横滚/俯仰/偏航）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部值为真实的Inspire测量值，范围0到1（0闭合，1张开），非占位符。
视频数据
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸前相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸前相机手部叠加画面 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机手部叠加画面 | h264 |
*_hand_overlay视频为同一视角叠加了检测到的人手骨骼（黄色连线、橙色关节点）。
帧率注意事项
时间戳按30fps运行且observation.state每帧更新，但相机采集速度较慢，记录中会重复前一帧来填补。实测数据：
| 视角 | 重复帧占比 | 实际帧率 |
|---|---|---|
| cam_head | 15.2% | ~25.4 fps |
| cam_chest | 26.5% | ~22.0 fps |
因此连续视频帧可能像素相同而状态已更新。若模型假设每帧都有新视觉信息，需对图像去重。
人手关键点数据
每个相机视角都运行MediaPipe Hands，结果存储在parquet列中：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2只手 × 21点 × (u,v)像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x,y,z)，归一化 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x,y,z)，米制单位 |
observation.human_hand.<cam>.valid |
[2] | 左右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 手性置信度 |
顺序始终为左手在前，右手在后；缺失的手以零填充且valid=0，不含NaN。对于无色的关键点区域（机器人本身的黑白手）会在写入前被过滤。
数据加载
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_cream_bun")
数据集以v2.1格式发布（每个回合一个parquet和一个视频片段），可直接在旧版lerobot上加载。在v3.0+版本上需先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_cream_bun
