g1_desktop_pick_cream_bun_and_place_in_blue_bowl
收藏资源简介：
这是一个在Unitree G1人形机器人上使用Inspire灵巧手进行桌面双手遥操作的数据集，任务是从桌面上拿起奶油面包并将其放入蓝色碗中。数据集采用LeRobot v2.1格式，包含30个episodes，共16495帧（约9.2分钟，30fps），每个episode长度在433-834帧之间（中位数548帧）。状态和动作均为26维向量，包含左臂、右臂以及左右手的关节角度和手部姿态（真实Inspire测量值，范围0-1）。同时提供4个摄像头视角的图像（cam_chest、cam_chest_hand_overlay、cam_head、cam_head_hand_overlay），其中hand_overlay视图叠加了检测到的人类手部骨架。数据集还包含MediaPipe Hands检测到的手部关键点信息（landmarks_uv、landmarks_2d、world_landmarks、valid、score）。
This is a dataset for bimanual teleoperation using Inspire dexterous hands on a Unitree G1 humanoid robot, with the task of picking up a cream bun from the table and placing it into a blue bowl. The dataset is in LeRobot v2.1 format, containing 30 episodes with a total of 16495 frames (approximately 9.2 minutes at 30fps), each episode length ranging from 433 to 834 frames (median 548). The state and action are both 26-dimensional vectors, including joint angles and hand poses for left and right arms as well as left and right hands (real Inspire measurements, range 0-1). It also provides images from 4 camera views (cam_chest, cam_chest_hand_overlay, cam_head, cam_head_hand_overlay), where the hand_overlay views overlay detected human hand skeletons. The dataset also includes hand keypoint information detected by MediaPipe Hands (landmarks_uv, landmarks_2d, world_landmarks, valid, score).
数据集详情：g1_desktop_pick_cream_bun_and_place_in_blue_bowl
基本信息
- 许可证：Apache-2.0
- 任务类型：机器人学
- 语言：英语
- 数据量：10K < n < 100K
- 格式：LeRobot v2.1 格式（每集一个parquet文件和一个视频片段）
任务描述
在宇树G1人形机器人上使用Inspire灵巧手进行双臂桌面遥操作，任务为**“拿起奶油面包并放入蓝色碗中”**。
数据规模
| 指标 | 数值 |
|---|---|
| 回合数 | 30 |
| 总帧数 | 16,495帧（约9.2分钟@30fps） |
| 回合长度 | 433–834帧（中位数548） |
| 状态/动作维度 | 26-D / 26-D |
| 相机数量 | 2 × 640×480 |
状态与动作布局（26维向量）
- 0–6：左臂（肩部俯仰/翻滚/偏航、肘部、腕部翻滚/俯仰/偏航）
- 7–13：右臂（肩部俯仰/翻滚/偏航、肘部、腕部翻滚/俯仰/偏航）
- 14–19：左手手指（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手手指（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数值为真实Inspire传感器测量值（范围0–1，0为闭合，1为张开），非占位符。
视频数据
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机叠加手部骨架 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机叠加手部骨架 | h264 |
*_hand_overlay视频为同一视角叠加检测到的人手骨架（黄色连线、橙色关节点）。
帧率注意事项
时间戳以30fps运行，状态每帧更新，但相机采集较慢，录制时会保持上一帧填补。实测数据：
| 视角 | 重复帧占比 | 有效帧率 |
|---|---|---|
cam_head |
16.4% | ~25.1 fps |
cam_chest |
37.9% | ~18.6 fps |
若模型假设每帧都包含新视觉信息，则需对图像进行去重处理。
人手关键点数据
使用MediaPipe Hands对每个相机视角进行检测，结果以parquet列形式存储：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2只手 × 21点 × (u, v)像素 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z)，归一化 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z)，公制 |
observation.human_hand.<cam>.valid |
[2] | 左手/右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 手性置信度 |
顺序固定为左手在前、右手在后；缺失的手以零填充且valid=0，绝不使用NaN。机器人自身黑白色的手因关键点色度不足会被拒绝写入。
加载方式
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_cream_bun_and_place_in_blue_bowl")
按v2.1格式发布，可直接在旧版lerobot上加载。在v3.0及以上版本需先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_cream_bun_and_place_in_blue_bowl
