g1_desktop_pick_croissant_from_toaster_left_hand_repaired

基于Unitree G1人形机器人和Inspire灵巧手的双桌面遥操作数据集，采用LeRobot v2.1格式。任务是从烤面包机中取出牛角包并放在盘子上。包含9个演示片段，共6382帧（约3.5分钟，30帧/秒），状态和动作均为26维，涵盖双臂和双手的关节角度。采集了2个摄像头视图（胸部摄像头和头部摄像头），并叠加了手部骨架覆盖图。此外，还提供了MediaPipe检测到的人手关键点（uv坐标、2D归一化坐标、3D世界坐标、有效性和置信度）。A dual desktop teleoperation dataset based on the Unitree G1 humanoid robot and Inspire dexterous hand, using LeRobot v2.1 format. The task is to take a croissant from the toaster and place it on a plate. It contains 9 demonstration episodes with a total of 6382 frames (approximately 3.5 minutes at 30 fps). The state and action are both 26-dimensional, covering joint angles of both arms and hands. Two camera views (chest camera and head camera) were collected, with hand skeleton overlays superimposed. Additionally, MediaPipe-detected human hand keypoints (uv coordinates, 2D normalized coordinates, 3D world coordinates, validity, and confidence) are provided.

原始信息汇总

数据集概述

该数据集名为 g1_desktop_pick_croissant_from_toaster_left_hand_repaired，是一个用于机器人操作任务的双臂桌面遥操作数据集，基于 Unitree G1 人形机器人和 Inspire 灵巧手采集，采用 LeRobot v2.1 格式存储。

任务描述

• 任务目标：将牛角包从烤面包机中取出并放到盘子上。

数据规模

指标	数值
数据片段（Episodes）	9
总帧数	6382 帧（约 3.5 分钟，30 fps）
单个片段长度	546–903 帧（中位数 686）
状态/动作维度	26 维 / 26 维
相机数量与分辨率	2 台 × 640×480

状态与动作空间

状态和动作向量均为 26 维，布局一致：

• 0–6：左臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
• 7–13：右臂（肩部 pitch/roll/yaw、肘部、腕部 roll/pitch/yaw）
• 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
• 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）

手部数值为 Inspire 手真实测量值，范围 0..1（0 闭合，1 张开），并非占位符。

视频数据

提供四个视频流，均采用 h264 编码：

键名	内容
observation.images.cam_chest	胸部相机原始画面
observation.images.cam_chest_hand_overlay	胸部相机带手部叠加画面
observation.images.cam_head	头部相机原始画面
observation.images.cam_head_hand_overlay	头部相机带手部叠加画面

*_hand_overlay 是在原始画面上叠加了检测到的人类手部骨骼（黄色连线、橙色关节点）。

帧率注意事项

时间戳按 30 fps 记录，observation.state 每帧更新，但相机实际采集帧率较低，通过重复前一帧补全。实测数据：

• cam_head：22.0% 重复帧，有效帧率约 23.4 fps
• cam_chest：36.9% 重复帧，有效帧率约 18.9 fps

因此连续视频帧可能在像素上完全相同，但状态已变化。若模型的假设是每帧都有新的视觉信息，则需对图像进行去重处理。

人手关键点数据

基于 MediaPipe Hands 对每台相机画面进行检测，结果以 parquet 列形式存储，随帧直接提供：

列名	形状	内容
observation.human_hand.<cam>.landmarks_uv	[84]	2 只手 × 21 个点 × (u, v) 像素坐标
observation.human_hand.<cam>.landmarks_2d	[126]	2 × 21 × (x, y, z)，归一化坐标
observation.human_hand.<cam>.world_landmarks	[126]	2 × 21 × (x, y, z)，米制世界坐标
observation.human_hand.<cam>.valid	[2]	左右手是否存在
observation.human_hand.<cam>.score	[2]	手性置信度

顺序固定为左手在前、右手在后；缺失的手以零填充、valid=0，不会出现 NaN。若关键点区域为无色（即机器人自己的黑白手部），则在写入前会被剔除。

数据加载

使用 LeRobot 库加载：

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_croissant_from_toaster_left_hand_repaired")

数据集采用 v2.1 布局（每个片段对应一个 parquet 和一个剪辑文件），可直接在旧版 lerobot 中加载。若使用 v3.0 及以上版本，需先运行官方升级命令：

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_croissant_from_toaster_left_hand_repaired

许可证

Apache-2.0。