BitRobot/G1_WBT_Dex1_Building-Children-Table

该数据集包含机器人操作任务中的观察和动作数据，用于机器人学习和控制。观察数据包括末端执行器状态（基于正向运动学计算，包含左右末端执行器的位姿）、手部状态（Dex1手的手指开合状态，范围从5.5到0.0，表示从打开到关闭）以及机器人当前配置（根位置、根方向和关节位置）。动作数据包括目标末端执行器状态、手部命令（控制手指动作）和机器人期望配置（目标根位置、根方向和关节位置）。数据集使用LeRobot框架创建，适用于机器人模拟和强化学习任务。This dataset contains observation and action data for robot manipulation tasks, designed for robot learning and control. Observations include end-effector states (computed via forward kinematics, representing poses of both end-effectors), hand states (finger open/close states for Dex1 hands, with a range from 5.5 to 0.0 indicating open to close), and current robot configuration (root position, root orientation, and joint positions). Actions include target end-effector states, hand commands (for finger actions), and desired robot configuration (target root position, orientation, and joint positions). The dataset was created using the LeRobot framework and is suitable for robot simulation and reinforcement learning applications.

搜集汇总

数据集介绍

构建方式

G1_WBT_Dex1_Building-Children-Table数据集基于LeRobot框架构建，专注于机器人操作任务的采集与记录。数据通过机器人本体传感器与正向运动学计算获取，观测部分包括末端执行器状态（12维）、手指状态（2维）及当前关节配置（36维），其中关节配置由根部位姿（位置与四元数）和28个关节位置组成。动作部分则记录了期望的末端执行器状态与手指命令，以及目标关节配置，确保数据能够完整描述机器人从感知到执行的闭环过程。

特点

数据集显著特点在于其多模态与细粒度观测结构。末端执行器状态融合了腰部运动的贡献，通过正向运动学从根连杆计算至左右手，提供高精度的位姿信息。Dex1手部状态与指令采用5.5至0.0的连续范围描述开合程度，而非离散值，增强了灵巧操作的表达能力。此外，36维的机器人配置向量统一描述了根部位姿与关节位置，便于下游模型直接利用完整运动学信息进行学习。

使用方法

数据集以Parquet格式存储，默认配置下从data/*/*.parquet路径加载，适用于基于PyTorch或TensorFlow的LeRobot框架读取。研究者可通过LeRobot的Dataset API直接索引观测与动作张量，用于模仿学习或强化学习的策略训练。使用时应留意Dex1手部动作范围5.5至0.0对应完全张开至闭合，并确保正向运动学参数与机器人模型一致，以正确解析末端执行器状态与期望配置间的映射关系。

背景与挑战

背景概述

在机器人操作领域中，灵巧手与双机械臂的协同控制是实现复杂装配任务的关键技术瓶颈。G1_WBT_Dex1_Building-Children-Table数据集由Hugging Face社区基于LeRobot框架创建，聚焦于足式仿人机器人通过全身运动规划完成儿童桌组装任务。数据集记录了端到端的示教数据，包含36维关节状态与12维末端执行器位姿，尤其创新性地引入了灵巧手（Dex1）的抓取与操作逻辑，为研究全身协同运动规划、力位混合控制等前沿问题提供了标准化基准。该数据集填补了高自由度仿人机器人执行精细装配任务的数据空白，对推动具身智能从简单抓取向结构化操作演进具有重要参考价值。

当前挑战

该数据集主要面临三大挑战。其一，灵巧手与全身运动的耦合控制问题亟待解决——机器人在执行儿童桌装配时，需同步协调腰部运动、双臂轨迹与五指抓取力，现有规划算法难以处理这种高维非线性的运动学与动力学约束。其二，数据采集过程中存在物理仿真的真实性问题，受限于LeRobot框架的仿真环境，关节摩擦、接触变形等现实物理效应未被充分建模，导致策略迁移至实体机器人时面临Sim-to-Real gap。其三，数据集缺乏失败案例与鲁棒性标注，仅包含成功示教轨迹，无法有效训练模型应对零件滑落、装配错位等意外情况，限制了其在工业级应用中的泛化能力。

常用场景

经典使用场景

G1_WBT_Dex1_Building-Children-Table数据集由具身智能机器人完成“搭建儿童桌”任务时采集而成，融合了全向移动基座（WBT）与五指灵巧手（Dex1）的协同操作。其经典使用场景集中于机器人操作的模仿学习（Imitation Learning）与行为克隆（Behavioral Cloning），通过记录末端执行器状态、手指开合指令及全身关节配置，为机器人精细操作技能的学习提供了高维连续动作空间与状态空间的对应样本。研究者可基于该数据集训练端到端策略，使机器人复现从构件抓取、对准到桌体组装的多阶段动作序列。

解决学术问题

该数据集解决了具身智能领域中多层级装配任务的策略学习难题，尤其在涉及双机械臂与灵巧手协同控制的复杂操作场景下，传统基于模型的控制方法难以建模非结构化环境中的接触力与力矩交互。数据集的高频状态-动作序列为研究长时序依赖的装配技能迁移提供了实验基础，推动了分层强化学习（Hierarchical Reinforcement Learning）与基于Transformer的序列建模方法的发展。其意义在于将装配操作从单一步态控制拓展至全身协调运动的学习范式，为机器人理解物理约束下的动态操作规则提供了数据支撑。

衍生相关工作

基于该数据集衍生了若干代表性工作，包括开源框架LeRobot中的标准化预处理流程，以及针对双机械臂灵巧操作提出的Joint State Augmentation方法。研究者进一步设计了WBT-Dex1协作策略的预训练-微调框架，将基础装配技能迁移至类似拼装任务如书架搭建。更具体地，部分工作聚焦于提取数据集中的接触模式，开发基于触觉反馈的闭环修正策略，这些衍生成果共同推进了全身控制与灵巧操作在结构化装配任务中的学术基准建立。