wb_pointed_chair_pull_push_rgb
收藏资源简介：
这是一个来自Unitree_G1_WholeBody_RGB的全身遥操作数据集，以LeRobot v2.1格式发布。任务为：根据人类手势指示拉出椅子，然后在人类开始坐下时将其推回。数据集包含80个episode，共74293帧（约41分钟，30fps），每个episode长度在715-1380帧之间（中位数908帧）。配备2个640×480的H.264摄像头（cam_chest和cam_head），状态和动作均为43维的关节向量。数据集提供两个分支：main分支的手部状态和动作为零或原始遥操作数据，real_inspair分支包含Inspire手部估计状态和命令，适合涉及抓取的任务。此外，每个帧还包含丰富的遥操作信号（如运动令牌、末端执行器位姿、重力和身体姿态等）以及手部和身体关键点注释（基于MediaPipe和RTMO）。
This is a whole-body teleoperation dataset from Unitree_G1_WholeBody_RGB, released in LeRobot v2.1 format. The task is to pull out a chair according to human hand gestures, then push it back when the human starts to sit down. The dataset contains 80 episodes, totaling 74,293 frames (approximately 41 minutes at 30fps), with each episode length ranging from 715 to 1380 frames (median 908 frames). It is equipped with two 640×480 H.264 cameras (cam_chest and cam_head), and the state and action are both 43-dimensional joint vectors. The dataset provides two branches: the main branch has zero hand states and actions or raw teleoperation data, while the real_inspair branch contains Inspire hand estimation states and commands, suitable for tasks involving grasping. Additionally, each frame includes rich teleoperation signals (e.g., motion tokens, end-effector poses, gravity, and body postures) as well as hand and body keypoint annotations (based on MediaPipe and RTMO).
wb_pointed_chair_pull_push_rgb 数据集概述
基本信息
- 数据集名称: wb_pointed_chair_pull_push_rgb
- 许可证: Apache-2.0
- 任务类型: 机器人学（Robotics）
- 语言: 英语
- 发布格式: LeRobot v2.1
- 样本数量: 10K-100K
任务描述
机器人根据人类手势指示拉出椅子，并在人类开始坐下时推回椅子。具体任务为"根据人类手势拉出所指的椅子，当人类开始坐下时将其推回原处"。
数据规模
| 项目 | 数值 |
|---|---|
| 数据集片段数（Episodes） | 80 |
| 总帧数 | 74293（约41分钟，30fps） |
| 相机 | 2 × 640×480 H264 |
| 状态/动作维度 | 43-D / 43-D 关节向量 |
| 数据分割 | 训练集 0:80 |
数据分支说明
数据集提供两个分支，差异仅在灵巧手维度（dexterous-hand dimensions），其余列完全一致：
| 分支 | 手部状态（维度22-28/36-42） | 手部动作 | 适用场景 |
|---|---|---|---|
main |
全零值（未记录） | 原始指令，包含负值 | 仅需躯体/运动控制 |
real_inspair |
Inspire测量估计值，范围0.50-1.00 | Inspire原生指令0.50-1.00，外加在最后拇指槽位的二进制开/关触发 | 涉及手部相关任务 |
注意: 训练抓取任务时应使用 real_inspair 分支，因为 main 分支的手部状态列为全零，模型无法从中学习有效信息。
数据模式（Schema）
observation.state 和 action 均为43维，排列顺序如下：
- 0-11: 腿部（左右腿: 髋关节俯仰/滚动/偏航、膝关节、踝关节俯仰/滚动）
- 12-14: 腰部（偏航、滚动、俯仰）
- 15-21: 左臂（肩部俯仰/滚动/偏航、肘部、腕部滚动/俯仰/偏航）
- 22-28: 左手（index_0、index_1、middle_0、middle_1、thumb_0、thumb_1、thumb_2）
- 29-35: 右臂（肩部俯仰/滚动/偏航、肘部、腕部滚动/俯仰/偏航）
- 36-42: 右手（index_0、index_1、middle_0、middle_1、thumb_0、thumb_1、thumb_2）
在 real_inspair 分支中，Inspire手部报告6维测量估计值：维度22-26/36-40承载实际数值，thumb_1/thumb_2保持零填充；动作侧相同槽位承载原生指令，thumb_2 用作二进制触发（0.0/1.0）。
视频数据
| 视频键 | 内容 | 编码 |
|---|---|---|
observation.images.cam_chest |
胸部相机-原始画面 | h264 |
observation.images.cam_chest_hands_overlay |
胸部相机-仅手部关键点覆盖 | h264 |
observation.images.cam_chest_pose_overlay |
胸部相机-躯干骨骼+手部关键点覆盖 | h264 |
observation.images.cam_head |
头部相机-原始画面 | h264 |
observation.images.cam_head_pose_overlay |
头部相机-躯干骨骼+手部关键点覆盖 | h264 |
所有视频均为H.264编码，可在标准播放器中播放。
姿态标注
自动生成的2D关键点，存储于 annotations/ 目录，每帧一行JSONL记录。
| 文件路径 | 数据源 | 关键点类型 |
|---|---|---|
annotations/cam_chest/mediapipe_human_hands/*.human_hands.jsonl |
MediaPipe Hands | 每只手21个关键点+3D世界坐标 |
annotations/*/rtmo_human_body/*.human_body.jsonl |
RTMO（rtmo-m_16xb16-600e_body7） | COCO-17躯体关键点 |
标注过滤机制：基于置信度阈值、边界框包含关系去重（非简单IoU）、片段合并、基于饱和度掩膜躯干色调直方图的运动轨迹单一身份锁定。时间重叠的轨迹不会被合并，因为同时可见的检测物不可能为同一人。
数据目录结构
data/chunk-000/episode_000000.parquet 每个片段一个parquet文件 videos/chunk-000/<video_key>/episode_000000.mp4 每个片段一个视频剪辑 meta/info.json 特征模式 meta/episodes.jsonl 片段索引和长度 meta/tasks.jsonl 任务字符串 meta/stats.json 每个特征的统计信息 annotations/ JSONL关键点标注（额外信息）
数据加载
python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset
ds = LeRobotDataset("DaoyuanZhu/wb_pointed_chair_pull_push_rgb", revision="real_inspair") print(ds.meta.features.keys()) sample = ds[0]
额外说明
-
该数据集以v2.1布局发布（每片段一个parquet+一个视频剪辑），可直接在旧版
lerobot上加载。在lerobotv3.0+上需先运行官方升级命令：python -m lerobot.datasets.v30.convert_dataset_v21_to_v30 --repo-id=DaoyuanZhu/wb_pointed_chair_pull_push_rgb
-
数据集使用Unitree_G1人形机器人，采集设备为Unitree_G1_WholeBody_RGB，采用全身控制和遥操作技术。
