g1_desktop_pick_pineapple_bun_from_toaster_2
收藏资源简介：
这是一个关于Unitree G1机器人双手桌面遥操作的数据集，使用Inspire灵巧手，任务是从烤面包机中取出菠萝包并放在盘子上。数据集包含20个episodes，共14637帧（约8.1分钟，30 fps），episode长度中位数742帧。状态和动作均为26维，包括左右手臂和手部关节。手部关节值来自真实的Inspire测量，范围0-1。摄像头有2个：胸部摄像头（cam_chest）和头部摄像头（cam_head），每个摄像头都有原始视图和手部覆盖视图（显示检测到的人手骨架）。此外，还提供了MediaPipe手部关键点数据，包括uv坐标、2D归一化坐标、世界坐标、有效性标志和置信度分数，顺序为左手后右手。数据以LeRobot v2.1格式存储，每个episode对应一个parquet文件和一个视频片段。
This is a dataset for bimanual desktop teleoperation of a Unitree G1 robot using Inspire dexterous hands. The task is to take a pineapple bun out of a toaster and place it on a plate. The dataset contains 20 episodes, totaling 14,637 frames (approximately 8.1 minutes at 30 fps), with a median episode length of 742 frames. State and action dimensions are both 26, including left and right arm and hand joints. Hand joint values are from real Inspire measurements, ranging from 0 to 1. There are two cameras: chest camera (cam_chest) and head camera (cam_head), each providing original view and hand overlay view (showing detected human hand skeleton). Additionally, MediaPipe hand keypoint data is provided, including uv coordinates, 2D normalized coordinates, world coordinates, validity flags, and confidence scores, ordered left hand then right hand. Data is stored in LeRobot v2.1 format, with each episode corresponding to a parquet file and a video clip.
数据集详情：g1_desktop_pick_pineapple_bun_from_toaster_2
基本信息
- 许可协议：Apache-2.0
- 任务类别：机器人学（Robotics）
- 语言：英语
- 标签：LeRobot、机器人学、人形机器人、Unitree G1、双臂操作、远程操控、Inspire手、手部姿态
- 数据规模：10K < 样本数 < 100K
任务描述
在Unitree G1人形机器人上，使用Inspire灵巧手进行双臂桌面远程操控，任务为从烤面包机中取出菠萝包并放到盘子上。
数据统计
| 项目 | 数值 |
|---|---|
| 回合数（Episodes） | 20 |
| 总帧数（Frames） | 14,637（约8.1分钟，30 fps） |
| 回合长度 | 577–901帧（中位数742帧） |
| 状态/动作维度 | 26维 / 26维 |
| 相机数量 | 2 × 640×480 |
状态与动作结构
两个26维向量采用相同布局：
- 0–6：左臂（肩部pitch/roll/yaw、肘部、腕部roll/pitch/yaw）
- 7–13：右臂（肩部pitch/roll/yaw、肘部、腕部roll/pitch/yaw）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部值为真实的Inspire测量数据，范围在0–1之间（0为闭合，1为张开），并非占位符。
视频信息
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机手部叠加画面 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机手部叠加画面 | h264 |
*_hand_overlay片段为同一视角并覆盖了检测到的人手骨架（黄色连线、橙色关节点）。
帧率说明
时间戳按30 fps运行，且observation.state每帧更新，但相机采集速度较慢，记录时会保留前一帧填补。该数据集实测结果：
| 视角 | 重复帧比例 | 有效帧率 |
|---|---|---|
cam_head |
19.5% | 约24.2 fps |
cam_chest |
36.5% | 约19.0 fps |
因此连续视频帧可能像素级相同而状态已变化。若模型假设每帧都含新的视觉信息，建议对图像进行去重处理。
人手关键点标注
使用MediaPipe Hands对每个相机视角进行处理，结果以parquet列存储，数据集中每帧已包含这些标注信息。
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2只手 × 21个点 × (u, v)像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z)，归一化坐标 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z)，米制坐标 |
observation.human_hand.<cam>.valid |
[2] | 左右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 手性置信度 |
顺序始终为左手在前、右手在后；缺失的手以零填充且valid = 0，不会出现NaN。对于无彩色（即机器人自身的黑白手）的关键点区域，在写入前会被拒绝。
加载方式
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_pineapple_bun_from_toaster_2")
该数据集以v2.1格式发布（每个回合含一个parquet文件和一个片段），可直接在旧版lerobot版本中加载。若使用v3.0及以上版本，需先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_pineapple_bun_from_toaster_2
