g1_desktop_pick_croissant

该数据集名为g1_desktop_pick_croissant，用于桌面双手遥操作任务。操作对象为Unitree G1人形机器人，配备Inspire灵巧手。任务目标是从桌面上抓起面包并放到盘子上。数据集包含30个演示片段，共16303帧（约9.1分钟，帧率30fps）。每个片段时长387-736帧（中位数553）。状态和动作空间均为26维，包括左右手臂的7个自由度（肩关节俯仰/滚转/偏航、肘关节、腕关节滚转/俯仰/偏航）以及左右手的6个自由度（小指、无名指、中指、食指、拇指弯曲、拇指旋转）。手部关节值使用真实的Inspire测量值，范围0-1（0为闭合，1为张开）。视频提供四个摄像头视角：cam_chest（胸部相机原始图像）、cam_chest_hand_overlay（胸部相机叠加手部骨骼）、cam_head（头部相机原始图像）、cam_head_hand_overlay（头部相机叠加手部骨骼）。叠加视图显示了由MediaPipe检测到的人类手部骨骼（黄色连线，橙色关节点）。此外，数据集还包含每帧的人类手部地标数据，包括uv坐标、归一化2D坐标、世界坐标、左右手存在性标志和置信度分数。数据格式为LeRobot v2.1，每个片段对应一个parquet文件和一个视频剪辑。可加载使用。许可证：Apache-2.0。The dataset is named g1_desktop_pick_croissant, used for desktop bimanual teleoperation tasks. The operation object is the Unitree G1 humanoid robot equipped with Inspire dexterous hands. The task goal is to pick up a croissant from the desktop and place it on a plate. The dataset contains 30 demonstration episodes, totaling 16,303 frames (approximately 9.1 minutes at 30fps). Each episode ranges from 387 to 736 frames (median 553). The state and action spaces are both 26-dimensional, including 7 degrees of freedom for each arm (shoulder pitch/roll/yaw, elbow, wrist roll/pitch/yaw) and 6 degrees of freedom for each hand (little finger, ring finger, middle finger, index finger, thumb bend, thumb rotation). Hand joint values use real Inspire measurements, ranging from 0 to 1 (0 for closed, 1 for open). Videos provide four camera views: cam_chest (chest camera raw image), cam_chest_hand_overlay (chest camera with hand skeleton overlay), cam_head (head camera raw image), and cam_head_hand_overlay (head camera with hand skeleton overlay). The overlay views show human hand skeletons detected by MediaPipe (yellow lines, orange joint points). Additionally, the dataset includes per-frame human hand landmark data, including uv coordinates, normalized 2D coordinates, world coordinates, left/right hand presence flags, and confidence scores. The data format is LeRobot v2.1, with each episode corresponding to a parquet file and a video clip. It is loadable and usable. License: Apache-2.0.

原始信息汇总

数据集概述：g1_desktop_pick_croissant

基本信息

• 数据集名称：g1_desktop_pick_croissant
• 许可证：Apache-2.0
• 任务类型：机器人技术（Robotics）
• 语言：英语
• 标签：LeRobot、人形机器人、Unitree G1、双臂操作、远程操控、Inspire手、手部姿态
• 数据规模：10K < 样本数 < 100K
• 数据集格式：LeRobot v2.1 格式
• 数据文件：data//.parquet

任务描述

任务目标：拾取面包并放置到盘子上（pick the bread and place to the plate）

数据规模统计

项目	数值
轨迹数（Episodes）	30
总帧数	16,303（9.1分钟 @ 30 fps）
单条轨迹长度	387–736 帧（中位数 553）
状态/动作维度	26-D / 26-D
相机数量	2 × 640×480

状态与动作空间

状态和动作向量均为26维，布局如下：

• 0–6：左臂（肩关节俯仰/滚动/偏航、肘关节、腕关节滚动/俯仰/偏航）
• 7–13：右臂（肩关节俯仰/滚动/偏航、肘关节、腕关节滚动/俯仰/偏航）
• 14–19：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
• 20–25：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）

手部值为真实Inspire测量值，范围在0到1之间（0为闭合，1为张开），非占位符。

视频数据

键名	内容	编解码器
observation.images.cam_chest	胸部相机原始画面	h264
observation.images.cam_chest_hand_overlay	胸部相机+手部叠加	h264
observation.images.cam_head	头部相机原始画面	h264
observation.images.cam_head_hand_overlay	头部相机+手部叠加	h264

*_hand_overlay 视频为同一视角叠加了检测到的人类手部骨骼（黄色连线、橙色关节点）。

帧率说明

时间戳按30 fps运行，observation.state每帧更新，但相机捕获较慢，录制时用前一帧填充。实测数据：

视角	重复帧比例	有效帧率
cam_head	14.3%	~25.7 fps
cam_chest	29.9%	~21.0 fps

连续视频帧可能是像素完全相同的，但状态已更新。若模型假设每帧都包含新的视觉信息，需对图像进行去重处理。

人手关键点数据

使用MediaPipe Hands在每个相机视角上运行，结果以parquet列存储：

列名	形状	内容
observation.human_hand.<cam>.landmarks_uv	[84]	2只手 × 21点 × (u, v)像素坐标
observation.human_hand.<cam>.landmarks_2d	[126]	2 × 21 × (x, y, z)，归一化
observation.human_hand.<cam>.world_landmarks	[126]	2 × 21 × (x, y, z)，公制单位
observation.human_hand.<cam>.valid	[2]	左手/右手是否存在
observation.human_hand.<cam>.score	[2]	手性置信度

顺序始终为左手在前，右手在后；缺失的手以零填充，valid = 0，不会出现NaN。手部关键点色度不足（机器人黑白手）的候选点会被排除。

加载方式

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_croissant")

数据集以v2.1格式发布（每条轨迹一个parquet和一个剪辑），可直接在旧版lerobot上加载。在v3.0+版本上需先运行官方升级命令：

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_croissant