G1_WBT_Brainco_Pickup_Pillow

该数据集是一个机器人相关数据集，主要用于机器人控制和学习任务。数据集包含详细的观测数据和动作指令，具体包括：

1. 观测数据部分：
- 末端执行器状态（12维）：通过从根链接到左右末端执行器的正向运动学计算得到，包含腰部运动的贡献，表示为两个末端执行器姿态的串联。
- 手部状态（12维或2维）：根据手部类型不同而不同，支持Inspire Hand、BrainCo Hand和Dex1 Hand三种手型，每种手型都有特定的手指状态范围和维度。
- 机器人当前配置（36维）：包含根位置（x,y,z）、根方向（四元数w,x,y,z）和29个关节位置。

2. 动作指令部分：
- 目标末端执行器状态（12维）
- 手部控制命令（12维或2维）：同样根据手部类型不同而不同
- 期望机器人配置（36维）：包含目标根位置、方向和关节位置

数据集采用parquet格式存储，使用Apache 2.0许可协议，是使用LeRobot框架创建的。

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，G1_WBT_Brainco_Pickup_Pillow数据集的构建依托于LeRobot框架的系统化采集流程。该框架通过整合机器人本体状态与末端执行器动作，实现了对拾取枕头这一具体操作场景的高保真记录。数据采集过程涵盖了机器人根链接位置、关节角度以及多种灵巧手（如Inspire Hand、BrainCo Hand和Dex1 Hand）的精细控制指令，并以正向运动学计算确保末端执行器状态的精确表征。所有观测与动作序列均被结构化存储于Parquet格式文件中，形成了时序连贯、维度明确的多模态机器人交互数据集。

特点

该数据集的核心特征在于其多维度的状态-动作对表示体系，能够全面刻画双手机器人在复杂操作任务中的动态行为。观测部分不仅包含由正向运动学推导的末端执行器位姿，还细致区分了不同灵巧手模型的指关节状态，如Inspire Hand的六自由度控制与Dex1 Hand的简化开关量。动作指令则同步提供了期望的机器人构型、末端目标位姿及手指控制命令，形成了闭环控制所需的完整映射关系。这种精细的结构化设计使得数据集能够支持从低级运动控制到高级策略学习的多层次机器人算法研究。

使用方法

研究者可利用该数据集进行机器人模仿学习、强化学习或行为克隆等算法的训练与验证。数据以标准Parquet格式组织，便于通过LeRobot框架或常见数据处理库（如Pandas）直接加载。使用时需注意观测与动作向量的维度对应关系，特别是不同灵巧手类型会导致手部状态维度差异。典型流程包括读取序列数据、解析状态-动作对、构建时间窗口样本，进而训练模型以预测给定观测下的最优动作。该数据集为机器人操作技能的数据驱动研究提供了结构清晰、可直接使用的基准资源。

背景与挑战

背景概述

在机器人操作领域，灵巧且复杂的物体交互任务，如拾取与放置，一直是推动仿人机器人技术发展的核心研究问题。G1_WBT_Brainco_Pickup_Pillow数据集应运而生，它由Hugging Face的LeRobot框架支持构建，专注于记录双足仿人机器人执行拾取枕头这一具体操作任务的全过程。该数据集系统采集了机器人的末端执行器状态、多类型灵巧手状态以及全身关节配置等多模态观测数据，并对应记录了目标动作指令，旨在为机器人模仿学习与强化学习算法提供高质量、结构化的真实世界交互轨迹，以促进机器人自主操作能力的实质性突破。

当前挑战

该数据集致力于解决机器人灵巧操作中的模仿学习与策略泛化挑战，其核心在于如何从高维、连续的传感器观测中学习出稳定、精确的抓取与操控策略。构建过程中的挑战尤为显著，首先需要精确同步并校准来自机器人本体、多种灵巧手（如Inspire Hand、BrainCo Hand）的异构传感器数据流；其次，在真实物理环境中执行重复性拾取任务时，需克服枕头形变、滑动等物体特性带来的状态不确定性，确保所记录轨迹既包含成功范例也涵盖边缘案例，以支撑鲁棒策略的学习。

常用场景

经典使用场景

在机器人操作学习领域，G1_WBT_Brainco_Pickup_Pillow数据集为双臂仿人机器人的精细抓取任务提供了标准化的训练基准。该数据集通过记录机器人拾取枕头的完整操作过程，捕捉了末端执行器状态、手部关节运动及全身姿态等多维度数据。研究者可利用这些高精度轨迹数据，训练机器人学习从接近目标到稳定抓取的动作序列，特别适用于评估模仿学习与强化学习算法在复杂操作任务中的表现。

衍生相关工作

该数据集催生了多项机器人学习领域的创新研究，例如基于Transformer的动作序列预测模型、结合视觉与本体感知的多模态策略网络。部分工作利用其多手型数据开展跨形态技能迁移研究，探索算法在不同机械结构间的泛化能力。此外，数据集还被用于开发新型模仿学习框架，如分层强化学习与课程学习相结合的方法，显著提升了复杂长程操作任务的训练效率与成功率。

数据集最近研究

最新研究方向

在机器人灵巧操作领域，G1_WBT_Brainco_Pickup_Pillow数据集凭借其精细的末端执行器与多指手部状态记录，正推动模仿学习与强化学习算法的前沿探索。研究焦点集中于利用其异构手部（Inspire、BrainCo、Dex1）的高维动作空间，开发能够泛化至不同机械结构的统一控制策略。该数据集与LeRobot框架的紧密结合，促进了开源机器人社区在复杂物体操控任务上的协作，尤其为枕头抓取这类非刚性物体操作提供了宝贵的真实世界交互数据，助力于家庭服务机器人自主能力的实质性突破。