g1_desktop_pick_pineapple_bun_from_toaster
收藏资源简介：
该数据集包含在Unitree G1人形机器人上使用Inspire灵巧手进行双手桌面遥操作的记录。任务是从烤面包机中取出菠萝包并放到盘子上。数据集共有11个片段，总计9098帧（约5.1分钟，30fps）。每个片段的帧数在655到1147之间（中位数768）。状态和动作向量均为26维，包括左右手臂的7个关节和左右手的6个手指关节（小指、无名指、中指、食指、拇指弯曲、拇指旋转）。手部值为真实的Inspire测量值，范围0-1（0表示闭合，1表示张开）。数据集包含两个摄像头视图：cam_chest和cam_head，以及对应的手部叠加视图。此外，还提供了使用MediaPipe检测到的人手骨架数据，包括每个摄像头的2D和3D关键点坐标、有效性标志和置信度分数。数据以LeRobot v2.1格式存储，可使用LeRobotDataset加载。
This dataset contains records of bimanual desktop teleoperation using Inspire dexterous hands on a Unitree G1 humanoid robot. The task is to take a pineapple bun out of a toaster and place it on a plate. The dataset consists of 11 episodes, totaling 9098 frames (approximately 5.1 minutes at 30fps). The number of frames per episode ranges from 655 to 1147 (median 768). Both state and action vectors are 26-dimensional, including 7 joints for each arm and 6 finger joints for each hand (little finger, ring finger, middle finger, index finger, thumb flexion, thumb rotation). Hand values are real Inspire measurements ranging from 0-1 (0 indicates closed, 1 indicates open). The dataset includes two camera views: cam_chest and cam_head, along with corresponding hand overlay views. Additionally, human hand skeleton data detected by MediaPipe is provided, including 2D and 3D keypoint coordinates, validity flags, and confidence scores for each camera. The data is stored in LeRobot v2.1 format and can be loaded using LeRobotDataset.
数据集概述
该数据集名为 g1_desktop_pick_pineapple_bun_from_toaster，由 DaoyuanZhu 发布，采用 Apache-2.0 许可证，属于机器人学（robotics）领域的 LeRobot 格式数据集。
任务描述
机器人需执行 从烤面包机中取出菠萝包并放到盘子里 的操作任务。数据集基于 Unitree G1 人形机器人，配备 Inspire 灵巧手，通过双侧遥操作（bimanual teleoperation）完成桌面操作。
数据规模
| 指标 | 数值 |
|---|---|
| 演示回合数（Episodes） | 11 |
| 总帧数（Frames） | 9,098（约 5.1 分钟，30 fps） |
| 回合长度（Episode length） | 655–1,147 帧（中位数 768） |
| 状态/动作维度 | 26-D / 26-D |
| 相机数量 | 2 × 640×480 |
状态与动作结构
状态和动作均为 26 维，布局相同：
- 0–6：左臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 7–13：右臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数值为 真实的 Inspire 测量值，范围 0–1（0 表示闭合，1 表示张开），非占位符。
视频数据
| 关键字段 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机 + 手部覆盖层 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机 + 手部覆盖层 | h264 |
*_hand_overlay 为同一视角叠加了检测到的人手骨骼（黄色线条、橙色关节点）。
帧率注意事项
虽然时间戳按 30 fps 采集且每帧状态都在变化，但相机实际采集较慢，录制时会保持前一帧填充。实测有效帧率如下：
| 视角 | 重复帧占比 | 有效帧率 |
|---|---|---|
cam_head |
10.5% | ~26.9 fps |
cam_chest |
39.4% | ~18.2 fps |
因此，连续视频帧可能在视觉上完全相同但状态已更新。如果模型假设每帧都包含新的视觉信息，建议对图像进行去重处理。
人手关键点标注
每个相机视角都运行了 MediaPipe Hands，结果以 parquet 列形式存储，随帧直接获取：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] |
2 只手 × 21 点 × (u, v) 像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] |
2 × 21 × (x, y, z)，归一化坐标 |
observation.human_hand.<cam>.world_landmarks |
[126] |
2 × 21 × (x, y, z)，公制坐标 |
observation.human_hand.<cam>.valid |
[2] |
左手/右手是否出现（1/0） |
observation.human_hand.<cam>.score |
[2] |
手性置信度 |
顺序始终为 左手在前，右手在后；缺失的手以零填充且 valid = 0，绝不使用 NaN。纯色区域（如机器人自身黑白手）的候选点会被过滤掉。
加载与使用
LeRobot v2.1 格式（版本要求）
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_pineapple_bun_from_toaster")
该数据集以 v2.1 布局发布（每个回合一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 上加载。若使用 v3.0+，需先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_pineapple_bun_from_toaster
许可证
Apache-2.0。
