G1_Dex3_PickTable

该数据集是G1人形机器人（Unitree G1）使用Dex3灵巧手进行桌面取物任务的遥操作演示数据。数据采集于2026年9月8日至9日，原始共87个episode，经用户验证后删除了25个，保留62个episode（总计38,605帧，采样频率50Hz，时长约12.87分钟）。每个episode对应一个完整的任务提示，包含四种类型：接近桌子并拿起瓶子（40个episode）、接近桌子并拿起水瓶（1个episode）、接近桌子并拿起苹果（15个episode）、接近桌子并拿起棕色瓶子（6个episode）。数据集采用LeRobot v2.1格式存储，每个episode包含Parquet文件（记录状态与动作值）以及RGB视频文件。元数据目录下提供了版本信息、源episode映射、用户验证后的全任务标注、审查记录以及训练语言导出格式。该数据集适用于机器人操作任务的模仿学习、行为克隆、多任务学习、全身控制以及遥操作研究。This dataset contains teleoperation demonstration data for desktop object grasping tasks using the G1 humanoid robot (Unitree G1) with Dex3 dexterous hand. Data was collected on September 8-9, 2026, with 87 original episodes, 25 of which were deleted after user validation, leaving 62 episodes (total 38,605 frames at 50Hz sampling frequency, duration about 12.87 minutes). Each episode corresponds to a complete task prompt, including four types: approach the table and pick up a bottle (40 episodes), approach the table and pick up a water bottle (1 episode), approach the table and pick up an apple (15 episodes), and approach the table and pick up a brown bottle (6 episodes). The dataset is stored in LeRobot v2.1 format, with each episode containing a Parquet file (recording state and action values) and RGB video files. The metadata directory provides version information, source episode mapping, full task annotations after user validation, review records, and training language export format. This dataset is suitable for imitation learning, behavior cloning, multi-task learning, whole-body control, and teleoperation research of robotic manipulation tasks.

搜集汇总

数据集介绍

构建方式

该数据集源于人形机器人桌面抓取任务的操作演示采集，采用遥操作方式获取Unitree G1机器人配备Dex3灵巧手的全身控制数据。原始采集包含87个回合，经用户对全任务提示进行逐条校验后，剔除25个质量不达标或标注不一致的回合，保留62个有效回合并重新连续编号为0至61。导出过程保留状态、动作数值与RGB视频的原始内容，仅重写回合索引与任务标签，并按保留回合重新聚合统计量，形成LeRobot v2.1格式的Parquet与逐回合视频文件。

特点

数据集以50 Hz频率记录38,605帧，约合12.87分钟，涵盖四个经过验证的全任务提示，包括抓取瓶子、水瓶、苹果与棕色瓶子，其中抓取瓶子任务占比最高。其核心特征在于每个回合采用单一完整任务指令而非子任务切分，任务描述通过meta/modality.json与meta/tasks.jsonl建立索引映射。数据规模介于一万至十万帧之间，附带数据版本、源回合映射、标注审核与训练语言导出等元信息，保证了溯源性与标注一致性。

使用方法

该数据集面向GR00T训练格式设计，可直接用于人形机器人全身控制与视觉-语言-动作策略的学习。使用时通过LeRobot v2.1加载逐回合Parquet与RGB视频，依据meta/modality.json解析annotation.human.task_description至task_index的映射，再经meta/tasks.jsonl检索对应的已验证全任务提示。下载时应指定mncai/G1_Dex3_PickTable仓库的ver.260909修订版本，以获取与当前统计和标注完全对应的数据快照。

背景与挑战

背景概述

人形机器人全身控制与精细操作是当前机器人学习领域的前沿课题，其核心在于让机器人能够在非结构化环境中完成复杂的物理交互任务。G1_Dex3_PickTable数据集于2026年9月由相关研究团队构建，基于宇树G1人形机器人与Dex3灵巧手，通过遥操作方式采集了62个桌面取物演示片段，共计38,605帧、频率50Hz，约12.87分钟。该数据集聚焦于“接近桌子并抓取指定物体”这一典型任务，提供LeRobot v2.1格式与GR00T训练接口，旨在推动人形机器人全身控制与语言条件操作策略的学习。其构建遵循严格的标注审核流程，保留经人工验证的全任务提示，为机器人模仿学习与多模态指令跟随研究提供了高质量的真实世界演示数据。

当前挑战

该数据集所应对的领域问题在于，人形机器人需在动态视觉感知与高自由度关节控制下，完成从接近桌面到精准抓取目标物体的端到端操作，这要求策略同时处理全身运动协调、抓取姿态生成与任务指令理解等多重耦合难题。构建过程中的挑战亦不容忽视：遥操作演示易受操作者技能差异影响，导致动作分布不均；原始87个片段经用户审核删除25个，需保证剩余数据的任务一致性与标注可靠性；此外，仅保留全任务提示而不划分子任务，增加了模型从稀疏语言监督中学习长时程行为的难度。数据规模有限且物体类别分布不均衡，亦对策略泛化能力构成考验。

常用场景

经典使用场景

人形机器人操作技能的学习与泛化长期以来受制于高质量真实演示数据的稀缺。G1_Dex3_PickTable数据集立足Unitree G1人形机器人与Dex3灵巧手的硬件平台，通过遥操作方式采集了62段围绕桌面目标物体抓取的全任务演示，涵盖瓶体、水瓶、苹果与棕色瓶四类指令。其经典用法在于以LeRobot v2.1格式为GR00T等模仿学习与视觉-语言-动作模型提供端到端的训练语料，使策略能够在统一的全任务提示下习得接近桌面、定位目标并完成抓取的连贯行为，成为全身控制与灵巧操作研究中颇具代表性的示范数据来源。

解决学术问题

该数据集直面机器人学习中演示数据噪声大、任务标注不一致与可复现性不足等痛点。原始87段采集中经人工核验删减25段，并对保留片段连续重编号，同时通过modality.json、tasks.jsonl与多份溯源元数据将每帧动作与已验证的全任务提示严格对齐，从而缓解了指令-动作错配与任务边界模糊的问题。其保留的38,605帧50Hz状态-动作与RGB视频，为模仿学习中的分布偏移、长时程任务建模及人形机器人全身协调控制等问题的实证研究提供了可信基准，推动了数据治理规范在具身智能领域的落地。

衍生相关工作

围绕该数据集已衍生出若干方向的研究实践。其LeRobot v2.1与GR00T训练格式的兼容性，使其成为人形机器人模仿学习流水线中的常用验证集，催生了面向Unitree G1的全身控制策略与Dex3灵巧手抓取策略的对比实验；其精细的溯源标注体系也为数据版本管理与标注审核方法研究提供了实例。相关工作中，基于该数据的策略学习、跨物体泛化评估以及遥操作数据质量控制等探索相继展开，进一步丰富了人形机器人操作数据生态。