G1_Dex3_Trash_LocoManipulation
收藏资源简介：
该数据集包含基于Unitree G1人形机器人和Dex3-1手的远程操作演示，任务为从地面捡起塑料袋并放入垃圾桶。机器人执行全身移动操作：行走、下跪、抓取、站起、转身、携带和投放。数据集共118个episodes，183,000帧，约61分钟（50Hz），其中前80个为正常演示，后37个为失败恢复演示（包括故意失败抓取并恢复完成）。数据格式为LeRobot v2.1，视频为H.264编码，480x640分辨率，50fps。观测包括头部摄像头图像、43维关节状态（左右腿、腰部、左右臂、左右手各7个关节）、14维手部末端状态（位置+四元数）、4维基座方向、3维预测重力。动作包括64维运动令牌（GEAR-SONIC v1.1编码）、43维全身控制器目标关节位置、7维左手命令、7维右手命令（均为零）。数据通过PICO VR远程操作系统在真实Unitree G1机器人上采集，使用GEAR-SONIC v1.1全身控制器，无仿真或重定向动作捕捉。适用于人形机器人全身移动操作的后训练视觉-语言-动作模型。
This dataset contains teleoperation demonstrations using the Unitree G1 humanoid robot and Dex3-1 hand, with the task of picking up a plastic bag from the ground and placing it into a trash can. The robot performs whole-body mobile manipulation: walking, kneeling, grasping, standing up, turning, carrying, and dropping. The dataset consists of 118 episodes, 183,000 frames, approximately 61 minutes (50Hz). Among them, the first 80 are normal demonstrations, and the last 37 are failure recovery demonstrations (including intentional failed grasps followed by recovery). Data format is LeRobot v2.1, video is H.264 encoded, 480x640 resolution, 50fps. Observations include head camera images, 43-dimensional joint states (7 joints each for left/right leg, waist, left/right arm, left/right hand), 14-dimensional hand end-effector states (position + quaternion), 4-dimensional base orientation, and 3-dimensional predicted gravity. Actions include 64-dimensional motion tokens (GEAR-SONIC v1.1 encoding), 43-dimensional whole-body controller target joint positions, 7-dimensional left-hand commands, and 7-dimensional right-hand commands (all zeros). Data was collected via PICO VR teleoperation system on a real Unitree G1 robot, using GEAR-SONIC v1.1 whole-body controller, no simulation or retargeted motion capture. Suitable for post-training vision-language-action models for humanoid whole-body mobile manipulation.
数据集概述：G1 Dex3 Trash Loco-Manipulation
- 任务类型：机器人（Robotics）
- 标签：LeRobot、Unitree G1、Dex3、人形机器人、全身控制、移动操作、遥操作、长时任务、失败恢复
- 规模：100K~1M 帧
- 许可证：Apache 2.0
任务描述
该数据集包含 Unitree G1 人形机器人（配备 Dex3-1 手）的遥操作演示，任务为从地面捡起塑料垃圾袋并放入垃圾桶。机器人需执行行走、下蹲、抓取、站起、转身等一系列全身移动操作。
任务序列：
- 走向垃圾袋
- 捡起垃圾袋
- 转身（约180度）
- 携带到垃圾桶
- 将垃圾袋放入垃圾桶
执行细节：仅使用左手操作，右手全程保持张开状态。
数据集内容
规模：118 个片段，183,000 帧，约 61 分钟（50Hz 采样率）
- 片段 0-80：正常演示
- 片段 81-117：失败与恢复演示（操作员故意抓取失败后恢复正常并完成任务）
- 注意：失败尝试是真实数据，约占总帧数 6.7%。若不需要，需对相应帧进行裁剪或降权处理。
数据格式
- 格式：LeRobot v2.1
- 视频：H.264 编码，分辨率 480x640，50 fps
- 加载方式： python from lerobot.common.datasets.lerobot_dataset import LeRobotDataset ds = LeRobotDataset("mncai/G1_Dex3_Trash_LocoManipulation")
数据字段
观测（Observations）
| 键名 | 维度 | 说明 |
|---|---|---|
observation.images.ego_view |
480x640x3 | 头部相机图像 |
observation.state |
43 | 关节位置 |
observation.eef_state |
14 | 双腕部位置+四元数 |
observation.root_orientation |
4 | 基座四元数 |
observation.projected_gravity |
3 | 基座坐标系下的重力投影 |
相机参数：Intel RealSense D435i，仅彩色流，无深度信息；存储为 480x640x3，H.264 yuv420p，容器帧率 50fps；安装于头部（躯干坐标系偏移 0.06, 0.00, 0.45 m），向下俯仰 47.6 度。
43维关节顺序：
- 0-6: 左腿
- 6-12: 右腿
- 12-15: 腰部
- 15-22: 左臂
- 22-29: 左手
- 29-36: 右臂
- 36-43: 右手
每只 Dex3-1 手有 7 个关节（拇指 0/1/2、中指 0/1、食指 0/1）。
动作（Actions）
| 键名 | 维度 | 说明 |
|---|---|---|
action.motion_token |
64 | GEAR-SONIC v1.1 潜在编码，控制全身运动 |
action.wbc |
43 | 控制器生成的关节目标 |
teleop.left_hand_joints |
7 | 左手控制指令 |
teleop.right_hand_joints |
7 | 全零（单手操作） |
数据采集
- 硬件：真实 Unitree G1 机器人，PICO VR 遥操作设备，三点点位跟踪
- 控制器：GEAR-SONIC v1.1（全身控制器）
- 特点：操作员直接控制上半身，控制器负责平衡与移动；所有帧均来自真实硬件，无仿真或重定向动作捕捉数据。
预期用途
- 用于对视觉-语言-动作模型进行后训练，支持人形机器人的移动操作任务。
- 数据集为 GR00T N1.7 构建，采用
UNITREE_G1_SONICembodiment，但关节状态和视频可适用于接受 43 维人形机器人输入的任何策略。
重要提示
64 维的 action.motion_token 是 GEAR-SONIC v1.1 编码器的输出，其潜在空间特定于该检查点。如需解码回放，必须使用 sonic_v1_1/model_decoder.onnx（来自 nvidia/GEAR-SONIC）。43 维关节状态为普通关节角度，无此依赖。
许可证与引用
- 许可证：Apache License 2.0（视频、关节状态与标注为原创；64 维 motion tokens 为 GEAR-SONIC 模型输出）
- 引用格式： bibtex @misc{g1_dex3_trash_locomanipulation, title = {G1 Dex3 Trash Loco-Manipulation}, year = {2026}, url = {https://huggingface.co/datasets/mncai/G1_Dex3_Trash_LocoManipulation} }
