wb_gaze_tool_handover3
收藏资源简介：
该数据集包含从Unitree G1全身RGB机器人收集的全身遥操作数据，任务为：拾取人类在工具桌上注视的工具并递给人类。数据以LeRobot v2.1格式发布，包含40个片段，共17785帧，状态和动作均为43维关节向量，并配有多个摄像头视角的视频和姿态标注。
This dataset contains whole-body teleoperation data collected from a Unitree G1 full-body RGB robot. The task is: pick up the tool that the human is looking at on the tool table and hand it to the human. The data is released in LeRobot v2.1 format, containing 40 episodes with a total of 17785 frames. The state and action are both 43-dimensional joint vectors, accompanied by multi-camera view videos and pose annotations.
wb_gaze_tool_handover3 数据集概述
基本信息
- 任务描述：从工具桌上拿起人类注视的工具并递给人类
- 许可协议：Apache-2.0
- 任务类型：机器人（robotics）
- 语言：英语
- 标签：LeRobot、人形机器人、Unitree G1、全身控制、遥操作、Inspire手、姿态估计
- 数据规模：10K-100K 帧
- 数据格式：LeRobot v2.1（每集一个parquet文件和一个视频片段）
数据统计
| 指标 | 数值 |
|---|---|
| 集数 | 40 |
| 总帧数 | 17,785 帧（约10分钟，30fps） |
| 每集长度 | 341–561 帧（中位数451） |
| 相机 | 2 × 640×480 H.264 |
| 状态/动作维度 | 43维 / 43维 关节向量 |
| 训练集划分 | 全部40集 |
两个分支版本
数据包含两个分支，仅在灵巧手维度上存在差异：
| 分支 | 手部状态 | 手部动作 | 适用场景 |
|---|---|---|---|
main |
全零（未记录） | 原始Dex3遥操作向量，包含负值 | 仅需身体/运动学数据 |
real_inspair |
Inspire估计值（0.50–1.00） | Inspire原生命令（0.50–1.00），末尾含二进制开/关触发 | 需要手部相关数据 |
注意：训练抓取任务应使用 real_inspair 分支，main 分支的手部状态列全为零。
状态/动作向量结构（43维）
- 0–11：腿部关节（左右腿：髋关节俯仰/翻滚/偏航、膝关节、踝关节俯仰/翻滚）
- 12–14：腰部（偏航、翻滚、俯仰）
- 15–21：左臂（肩关节俯仰/翻滚/偏航、肘关节、腕关节翻滚/俯仰/偏航）
- 22–28：左手（食指0/1、中指0/1、拇指0/1/2）
- 29–35：右臂（与左臂结构相同）
- 36–42：右手（与左手结构相同）
视频内容
| 键名 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机原始画面 | H.264 |
observation.images.cam_chest_hand_overlay |
胸部相机 + MediaPipe手部关键点叠加 | H.264 |
observation.images.cam_chest_pose_overlay |
胸部相机 + RTMO人体骨架叠加 | H.264 |
observation.images.cam_head |
头部相机原始画面 | H.264 |
observation.images.cam_head_hand_overlay |
头部相机 + MediaPipe手部关键点叠加 | H.264 |
observation.images.cam_head_pose_overlay |
头部相机 + RTMO人体骨架叠加 | H.264 |
姿态标注
姿态关键点以parquet列形式随帧存储：
手部标注（MediaPipe Hands）：
landmarks_uv：每只手21个点，像素坐标u/vlandmarks_2d：归一化x/y/z坐标world_landmarks：度量尺度世界坐标valid/score：左右手存在标志和置信度
人体标注（RTMO）：
landmarks_uv：COCO-17人体关键点，像素坐标landmarks_2d：归一化坐标scores/valid：逐关键点置信度和逐帧标志
标注为估计值/迁移值，非真实录制的手部地面真值。零填充坐标配合 valid = 0 表示未检测到目标。
数据布局
data/chunk-000/episode_000000.parquet 每个episode一个parquet videos/chunk-000/<video_key>/episode_000000.mp4 每个episode一个视频片段 meta/info.json 特征模式 meta/episodes.jsonl episode索引和长度 meta/tasks.jsonl 任务字符串 meta/stats.json 逐特征统计
数据加载示例
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset("DaoyuanZhu/wb_gaze_tool_handover3", revision="real_inspair") print(ds.meta.features.keys()) sample = ds[0]
