g1_desktop_pick_croissant_and_place_in_white_bowl
收藏资源简介：
双人桌面遥操作数据集，使用Unitree G1人形机器人和Inspire灵巧手，任务为“拿起牛角面包并放入白色碗中”。包含30个episodes，11984帧（约6.7分钟，30fps），每帧状态/动作均为26维。提供2个摄像头视图（胸部、头部），以及手部覆盖图像和MediaPipe手部关键点。
A dual-person desktop teleoperation dataset using the Unitree G1 humanoid robot and Inspire dexterous hand, with the task of picking up a croissant and placing it in a white bowl. It contains 30 episodes, 11984 frames (approximately 6.7 minutes at 30fps), with each frame having 26-dimensional states/actions. Two camera views are provided (chest and head), along with hand overlay images and MediaPipe hand keypoints.
数据集概述
基本信息
- 数据集名称：g1_desktop_pick_croissant_and_place_in_white_bowl
- 任务类型：机器人操作（Robotics）
- 语言：英语
- 许可证：Apache-2.0
- 数据规模：10K 至 100K 样本
- 数据格式：LeRobot v2.1 格式，每个片段包含一个 parquet 文件和一个视频片段
任务描述
在桌面上通过双手遥控操作 Unitree G1 人形机器人（配备 Inspire 灵巧手），完成“拿起牛角面包并放入白色碗中”的任务。
数据统计
| 指标 | 数值 |
|---|---|
| 片段数（Episodes） | 30 |
| 总帧数（Frames） | 11,984（约 6.7 分钟 @ 30 fps） |
| 片段长度 | 309–576 帧（中位数 399） |
| 状态/动作维度 | 26-D / 26-D |
| 相机数量与分辨率 | 2 × 640×480 |
状态与动作空间
状态和动作均为 26 维向量，共享相同的布局：
- 0–6：左臂（肩部俯仰/翻滚/偏航、肘部、腕部翻滚/俯仰/偏航）
- 7–13：右臂（肩部俯仰/翻滚/偏航、肘部、腕部翻滚/俯仰/偏航）
- 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数值为真实的 Inspire 测量值，范围在 0 到 1 之间（0 表示闭合，1 表示张开），非占位符。
视频数据
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机 — 原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机 — 手部叠加层 | h264 |
observation.images.cam_head |
头部相机 — 原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机 — 手部叠加层 | h264 |
*_hand_overlay 片段为同一视角，叠加了检测到的人体手部骨架（黄色连线、橙色关节点）。
帧率注意事项
时间戳以 30 fps 运行，observation.state 每帧更新，但相机采集速度较慢，录制时使用前一帧填充空缺。实际测量结果：
cam_head：重复帧 23.3%，有效帧率约 23.0 fpscam_chest：重复帧 33.9%，有效帧率约 19.8 fps
因此连续视频帧可能出现像素完全相同但状态已更新的情况。若模型假设每帧都包含新的视觉信息，建议对图像进行去重处理。
人手关键点标注
每个相机视角均运行 MediaPipe Hands，结果以 parquet 列存储，数据集获取的帧已包含这些数据：
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2 只手 × 21 个点 × (u, v) 像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z)，归一化坐标 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z)，米制坐标 |
observation.human_hand.<cam>.valid |
[2] | 左手/右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 左右手置信度 |
要点：
- 顺序始终为左手在前、右手在后；缺失的手用零填充且
valid = 0，不会出现 NaN - 无彩色（机器人自身黑白手）的候选关节点在写入前会被拒绝
加载方式
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_croissant_and_place_in_white_bowl")
数据集以 v2.1 布局发布（每个片段一个 parquet 和一个视频），可直接在旧版 lerobot 中加载。若使用 v3.0 及以上版本，请先运行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_croissant_and_place_in_white_bowl
