g1_desktop_pick_cream_bun_and_place_in_white_bowl
收藏资源简介：
这是一个关于使用Unitree G1人形机器人和Inspire灵巧手进行桌面双手遥控操作的数据集，任务为“拿起奶油面包并放入白色碗中”。数据集包含29个回合、15388帧（约8.5分钟，30帧/秒），回合长度在371至775帧之间（中位数533帧）。状态和动作均为26维，共享相同的布局：0-6为左臂（肩部俯仰/滚转/偏航、肘部、腕部滚转/俯仰/偏航），7-13为右臂，14-19为左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转），20-25为右手。手部值为真实的Inspire测量值，范围0-1（0闭合，1张开）。提供两个摄像头视角：cam_chest和cam_head，以及对应的手部叠加视图（显示检测到的人手骨架）。帧率注释：时间戳以30帧/秒运行，但摄像头实际捕获较慢，导致重复帧（cam_head约19.4%重复，有效约24.2帧/秒；cam_chest约37.1%重复，有效约18.9帧/秒）。此外，每个摄像头视角均存储了MediaPipe Hands检测结果，包括地标坐标、有效性和置信度。数据可通过LeRobot库加载，格式为v2.1。
This is a dataset about bimanual remote operation on a tabletop using a Unitree G1 humanoid robot and Inspire dexterous hands. The task is to pick up a cream bread and place it into a white bowl. The dataset contains 29 episodes, 15388 frames (approximately 8.5 minutes at 30 fps), with episode lengths ranging from 371 to 775 frames (median 533 frames). Both state and action are 26-dimensional, sharing the same layout: 0-6 left arm (shoulder pitch/roll/yaw, elbow, wrist roll/pitch/yaw), 7-13 right arm, 14-19 left hand (little, ring, middle, index finger curl, thumb curl, thumb rotation), 20-25 right hand. Hand values are real Inspire measurements ranging from 0 to 1 (0 closed, 1 open). Two camera views are provided: cam_chest and cam_head, along with corresponding hand overlay views (showing detected human hand skeletons). Frame rate notes: timestamps run at 30 fps, but actual camera capture is slower, resulting in duplicate frames (cam_head ~19.4% duplicate, effective ~24.2 fps; cam_chest ~37.1% duplicate, effective ~18.9 fps). Additionally, each camera view stores MediaPipe Hands detection results, including landmark coordinates, validity, and confidence. Data can be loaded via the LeRobot library, format v2.1.
数据集概述：g1_desktop_pick_cream_bun_and_place_in_white_bowl
基本信息
- 数据集地址：https://huggingface.co/datasets/DaoyuanZhu/g1_desktop_pick_cream_bun_and_place_in_white_bowl
- 许可证：Apache-2.0
- 任务类别：机器人（robotics）
- 语言：英语
- 标签：LeRobot、机器人、人形机器人、Unitree G1、双臂操作、远程操控、Inspire灵巧手、手部姿态
- 数据规模：10K < N < 100K
任务描述
该数据集包含在Unitree G1人形机器人上，配备Inspire灵巧手进行的双臂桌面远程操控任务，具体任务为将奶油面包拿起并放入白色碗中。数据格式为LeRobot v2.1标准。
数据统计
| 指标 | 数值 |
|---|---|
| 回合数（Episodes） | 29 |
| 总帧数（Frames） | 15,388帧（约8.5分钟，30帧/秒） |
| 回合长度 | 371–775帧（中位数533帧） |
| 状态/动作维度 | 26维 / 26维 |
| 摄像头数量 | 2个（640×480分辨率） |
状态与动作格式
状态和动作向量均为26维，采用相同的布局：
- 第0–6维：左臂（肩关节俯仰/横滚/偏航、肘关节、腕关节横滚/俯仰/偏航）
- 第7–13维：右臂（肩关节俯仰/横滚/偏航、肘关节、腕关节横滚/俯仰/偏航）
- 第14–19维：左手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
- 第20–25维：右手（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
手部数值为真实的Inspire测量数据，取值范围0–1（0表示闭合，1表示张开），并非占位符。
视频数据
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | h264 |
observation.images.cam_chest_hand_overlay |
胸部相机手部骨骼叠加画面 | h264 |
observation.images.cam_head |
头部相机原始画面 | h264 |
observation.images.cam_head_hand_overlay |
头部相机手部骨骼叠加画面 | h264 |
带*_hand_overlay后缀的视频为同一视角下叠加了检测到的人手骨骼（黄色连线、橙色关节点）。
帧率说明
时间戳以30帧/秒运行，observation.state每帧都在变化，但摄像头采集速度较慢，录制时以保持上一帧来填补空缺。实测数据如下：
| 视角 | 重复帧占比 | 有效帧率 |
|---|---|---|
cam_head |
19.4% | 约24.2帧/秒 |
cam_chest |
37.1% | 约18.9帧/秒 |
因此，连续视频帧可能存在像素完全一致但状态已变化的情况。若模型假设每帧都包含新的视觉信息，建议在图像层面进行去重处理。
人手关键点数据
每个相机视角均运行了MediaPipe Hands算法，结果作为parquet列存储，可直接随帧获取。
| 列名 | 形状 | 内容 |
|---|---|---|
observation.human_hand.<cam>.landmarks_uv |
[84] | 2只手 × 21个点 × (u, v)像素坐标 |
observation.human_hand.<cam>.landmarks_2d |
[126] | 2 × 21 × (x, y, z)，归一化坐标 |
observation.human_hand.<cam>.world_landmarks |
[126] | 2 × 21 × (x, y, z)，公制单位 |
observation.human_hand.<cam>.valid |
[2] | 左手/右手是否存在 |
observation.human_hand.<cam>.score |
[2] | 左右手置信度 |
数据排列顺序始终为左手在前、右手在后；缺失的手以零填充且valid = 0，不会出现NaN。候选关键点中若手部色块为无彩色（机器人自身的黑白手）则会在写入前被剔除。
数据加载
v2.1版本加载方式： python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_pick_cream_bun_and_place_in_white_bowl")
该数据集以v2.1布局发布（每回合一个parquet文件和一个视频片段），可直接在旧版lerobot上加载。若使用v3.0及以上版本，需先执行官方升级命令：
python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_pick_cream_bun_and_place_in_white_bowl
许可证
Apache-2.0
