g1_desktop_handover_light_red_apple
收藏资源简介：
在Unitree G1人形机器人上使用Inspire灵巧手进行双手桌面遥操作，数据格式为LeRobot v2.1。任务：将浅红色苹果递给人类。
Bimanual desktop teleoperation using Inspire dexterous hands on a Unitree G1 humanoid robot, data format is LeRobot v2.1. Task: hand a light red apple to a human.
g1_desktop_handover_light_red_apple 数据集概述
基本信息
- 数据集地址：https://huggingface.co/datasets/DaoyuanZhu/g1_desktop_handover_light_red_apple
- 许可证：Apache-2.0
- 任务类别：机器人技术（Robotics）
- 语言：英语
- 标签：LeRobot、机器人技术、人形机器人、Unitree G1、双臂操作、遥操作、Inspire手、手部姿态
- 数据规模：10K < 样本数 < 100K
- 数据集格式：LeRobot v2.1（每个episode一个parquet文件和一个视频片段）
任务描述
将浅红色苹果递交给人类（Bimanual tabletop teleoperation on a Unitree G1 with Inspire dexterous hands）。
关键统计
| 指标 | 数值 |
|---|---|
| Episodes（回合数） | 30 |
| Frames（总帧数） | 13,272帧（7.4分钟 @ 30 fps） |
| Episode长度 | 348–672帧（中位数428帧） |
| State / Action维度 | 26-D / 26-D |
| 摄像头 | 2 × 640×480 |
状态与动作表示
状态和动作向量均为26维，布局相同：
| 索引范围 | 含义 |
|---|---|
| 0–6 | 左臂（肩部pitch/roll/yaw、肘部、腕部roll/pitch/yaw） |
| 7–13 | 右臂（肩部pitch/roll/yaw、肘部、腕部roll/pitch/yaw） |
| 14–19 | 左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转） |
| 20–25 | 右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转） |
手部数值为真实的Inspire测量值（范围0–1，0为闭合，1为张开），非占位符。
视频数据
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
cam_chest — 原始摄像头画面 | h264 |
observation.images.cam_chest_hand_overlay |
cam_chest_hand_overlay — 手部叠加画面 | h264 |
observation.images.cam_head |
cam_head — 原始摄像头画面 | h264 |
observation.images.cam_head_hand_overlay |
cam_head_hand_overlay — 手部叠加画面 | h264 |
*_hand_overlay 片段为同一视角叠加了检测到的人类手部骨架（黄色连线、橙色关节点）。
帧率注意事项
时间戳以30 fps运行，observation.state 每帧更新，但摄像头采集速度较慢，录制时以保留上一帧填充。实测各视角重复帧比例：
| 视角 | 重复帧比例 | 有效帧率 |
|---|---|---|
cam_head |
8.9% | ~27.3 fps |
cam_chest |
10.8% | ~26.8 fps |
因此连续视频帧可能出现像素完全相同的画面，而状态已变化。若模型假设每帧都包含新的视觉信息，请对图像进行去重处理。
人手关键点数据
使用MediaPipe Hands对每个摄像头视角进行处理，结果以parquet列存储：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] |
2只手 × 21点 × (u, v) 像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] |
2 × 21 × (x, y, z)，归一化 |
observation.human_hand.<cam>.world_landmarks |
[126] |
2 × 21 × (x, y, z)，米制单位 |
observation.human_hand.<cam>.valid |
[2] |
左手/右手是否出现 |
observation.human_hand.<cam>.score |
[2] |
左右手置信度 |
顺序总是先左手后右手；缺失的手部以零填充且 valid = 0，不会出现NaN。色度异常（机器人自身的黑白手部）的候选landmark补丁在处理前会被剔除。
加载方式
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_light_red_apple")
数据集以 v2.1 格式发布（每个episode一个parquet和一个视频片段），可直接在旧版 lerobot 上加载。若使用v3.0及以上版本，请先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_light_red_apple
许可证
Apache-2.0
