g1_desktop_handover_tomato

该数据集是使用Unitree G1人形机器人和Inspire灵巧手进行双手桌面遥操作的数据集，任务为“将番茄递给一个人”。包含31个演示片段，共13605帧（约7.6分钟，30fps），每段片段长度在334-596帧之间（中位数441帧）。状态和动作空间均为26维，编码了左右手臂和手部的关节角度（手部数值为真实Inspire测量值，范围0-1，0闭合，1张开）。提供两个相机视角（胸部摄像头和头部摄像头）的原始图像及手部叠加图像，以及每帧的MediaPipe手部骨骼关键点（2只手×21个点，包括像素坐标、归一化2D坐标、世界坐标及有效性标记）。视频帧率存在重复帧问题，胸部摄像头有效帧率约20.6fps，头部摄像头约28.5fps。数据集采用LeRobot v2.1格式，每个片段包含一个parquet文件和一个视频剪辑。This dataset is a bimanual desktop teleoperation dataset collected using the Unitree G1 humanoid robot and Inspire dexterous hands, with the task of handing a tomato to a person. It contains 31 demonstration episodes, totaling 13,605 frames (approximately 7.6 minutes at 30fps), with each episode length ranging from 334 to 596 frames (median 441). The state and action spaces are both 26-dimensional, encoding joint angles of the left and right arms and hands (hand values are actual Inspire measurements, range 0-1, where 0 is closed and 1 is open). Raw images from two camera viewpoints (chest camera and head camera) and hand overlay images are provided, along with MediaPipe hand skeleton keypoints per frame (2 hands × 21 points, including pixel coordinates, normalized 2D coordinates, world coordinates, and validity flags). There is a duplicate frame issue in the video frame rate, with an effective frame rate of approximately 20.6fps for the chest camera and 28.5fps for the head camera. The dataset is in LeRobot v2.1 format, with each episode containing a parquet file and a video clip.

原始信息汇总

g1_desktop_handover_tomato 数据集概述

g1_desktop_handover_tomato 是一个基于 Unitree G1 人形机器人（配备 Inspire 灵巧手）的双臂桌面遥操作数据集，采用 LeRobot v2.1 格式发布。数据集的核心任务是“将番茄递给对面的人”。

数据集规模

项目	数值
总片段数（Episodes）	31
总帧数（Frames）	13,605（约7.6分钟 @ 30fps）
单片段长度	334–596帧（中位数441帧）
状态/动作维度	26-D / 26-D
相机数量与分辨率	2 × 640×480

状态与动作空间

状态和动作向量均为26维，布局相同：

• 0–6：左臂（肩关节俯仰/滚转/偏航，肘关节，腕关节滚转/俯仰/偏航）
• 7–13：右臂（同上）
• 14–19：左手手指（小指、无名指、中指、食指、拇指弯曲、拇指旋转）
• 20–25：右手手指（同上）

手部数值为 Inspire 灵巧手的真实测量值（范围0–1，0表示闭合，1表示张开），非占位符。

视频数据

键名	内容	编码
observation.images.cam_chest	胸部相机原始画面	h264
observation.images.cam_chest_hand_overlay	胸部相机+手部叠加	h264
observation.images.cam_head	头部相机原始画面	h264
observation.images.cam_head_hand_overlay	头部相机+手部叠加	h264

*_hand_overlay 视频在原始画面基础上叠加了检测到的人类手部骨骼（黄色连线、橙色关节点）。

帧率注意事项

• 时间戳按30fps运行，但相机实际采集速率较低，数据集通过重复上一帧来填满。
• 实测数据：
  • cam_head：重复帧占4.9%，有效帧率约28.5fps
  • cam_chest：重复帧占31.2%，有效帧率约20.6fps
• 因此，连续视频帧可能像素相同而状态已发生变化。如果模型假设每帧都含有新的视觉信息，建议先对图像进行去重处理。

人手关键点标注

使用 MediaPipe Hands 对每个相机视角进行检测，结果以 parquet 列方式存储。

列名	形状	内容
observation.human_hand.<cam>.landmarks_uv	[84]	2只手 × 21点 × (u, v) 像素坐标
observation.human_hand.<cam>.landmarks_2d	[126]	2 × 21 × (x, y, z) 归一化坐标
observation.human_hand.<cam>.world_landmarks	[126]	2 × 21 × (x, y, z) 公制坐标
observation.human_hand.<cam>.valid	[2]	左手/右手是否存在（0/1）
observation.human_hand.<cam>.score	[2]	手部置信度

排列顺序始终为 左手在前、右手在后；缺失的手以全零填充并设置 valid=0（不使用NaN）。若检测到的手部区域为消色差（即机器人自身的黑白手），则会在写入前被剔除。

加载方式

使用 LeRobot 库加载：

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("DaoyuanZhu/g1_desktop_handover_tomato")

数据集以 v2.1 布局发布（每个片段对应一个 parquet 文件和一个视频片段），可直接在旧版 lerobot 上加载。若使用 v3.0+ 版本，需先执行官方升级命令：

python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/g1_desktop_handover_tomato

许可证

Apache-2.0。