wb_gaze_tool_handover3

该数据集包含从Unitree G1全身RGB机器人收集的全身遥操作数据，任务为：拾取人类在工具桌上注视的工具并递给人类。数据以LeRobot v2.1格式发布，包含40个片段，共17785帧，状态和动作均为43维关节向量，并配有多个摄像头视角的视频和姿态标注。

原始信息汇总

wb_gaze_tool_handover3 数据集概述

基本信息

• 任务描述：从工具桌上拿起人类注视的工具并递给人类
• 许可协议：Apache-2.0
• 任务类型：机器人（robotics）
• 语言：英语
• 标签：LeRobot、人形机器人、Unitree G1、全身控制、遥操作、Inspire手、姿态估计
• 数据规模：10K-100K 帧
• 数据格式：LeRobot v2.1（每集一个parquet文件和一个视频片段）

数据统计

指标	数值
集数	40
总帧数	17,785 帧（约10分钟，30fps）
每集长度	341–561 帧（中位数451）
相机	2 × 640×480 H.264
状态/动作维度	43维 / 43维 关节向量
训练集划分	全部40集

两个分支版本

数据包含两个分支，仅在灵巧手维度上存在差异：

分支	手部状态	手部动作	适用场景
main	全零（未记录）	原始Dex3遥操作向量，包含负值	仅需身体/运动学数据
real_inspair	Inspire估计值（0.50–1.00）	Inspire原生命令（0.50–1.00），末尾含二进制开/关触发	需要手部相关数据

注意：训练抓取任务应使用 real_inspair 分支，main 分支的手部状态列全为零。

状态/动作向量结构（43维）

• 0–11：腿部关节（左右腿：髋关节俯仰/翻滚/偏航、膝关节、踝关节俯仰/翻滚）
• 12–14：腰部（偏航、翻滚、俯仰）
• 15–21：左臂（肩关节俯仰/翻滚/偏航、肘关节、腕关节翻滚/俯仰/偏航）
• 22–28：左手（食指0/1、中指0/1、拇指0/1/2）
• 29–35：右臂（与左臂结构相同）
• 36–42：右手（与左手结构相同）

视频内容

键名	内容	编码
observation.images.cam_chest	胸部相机原始画面	H.264
observation.images.cam_chest_hand_overlay	胸部相机 + MediaPipe手部关键点叠加	H.264
observation.images.cam_chest_pose_overlay	胸部相机 + RTMO人体骨架叠加	H.264
observation.images.cam_head	头部相机原始画面	H.264
observation.images.cam_head_hand_overlay	头部相机 + MediaPipe手部关键点叠加	H.264
observation.images.cam_head_pose_overlay	头部相机 + RTMO人体骨架叠加	H.264

姿态标注

姿态关键点以parquet列形式随帧存储：

手部标注（MediaPipe Hands）：

• landmarks_uv：每只手21个点，像素坐标u/v
• landmarks_2d：归一化x/y/z坐标
• world_landmarks：度量尺度世界坐标
• valid / score：左右手存在标志和置信度

人体标注（RTMO）：

• landmarks_uv：COCO-17人体关键点，像素坐标
• landmarks_2d：归一化坐标
• scores / valid：逐关键点置信度和逐帧标志

标注为估计值/迁移值，非真实录制的手部地面真值。零填充坐标配合 valid = 0 表示未检测到目标。

数据布局

data/chunk-000/episode_000000.parquet 每个episode一个parquet videos/chunk-000/<video_key>/episode_000000.mp4 每个episode一个视频片段 meta/info.json 特征模式 meta/episodes.jsonl episode索引和长度 meta/tasks.jsonl 任务字符串 meta/stats.json 逐特征统计

数据加载示例

python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset

ds = LeRobotDataset("DaoyuanZhu/wb_gaze_tool_handover3", revision="real_inspair") print(ds.meta.features.keys()) sample = ds[0]