unitreerobotics/G1_WBT_Brainco_Pick_Up_Medicine

这是一个机器人学数据集，使用LeRobot框架创建，包含机器人观测和动作数据。观测数据包括末端执行器状态（通过正向运动学计算，包含腰部贡献）、手部状态（支持Inspire Hand、BrainCo Hand和Dex1 Hand三种手部类型，维度分别为12或2）和当前机器人配置（根位置、方向及关节位置）。动作数据包括目标末端执行器状态、手部命令（对应不同手部类型）和期望机器人配置。数据集以parquet格式存储，适用于机器人控制和学习任务。

This is a robotics dataset created using the LeRobot framework, containing robot observation and action data. Observations include end-effector states (computed via forward kinematics with waist contribution), hand states (supporting three hand types: Inspire Hand, BrainCo Hand, and Dex1 Hand, with dimensions of 12 or 2), and current robot configuration (root position, orientation, and joint positions). Actions include target end-effector states, hand commands (corresponding to different hand types), and desired robot configuration. The dataset is stored in parquet format and is suitable for robot control and learning tasks.

搜集汇总

数据集介绍

构建方式

该数据集依托LeRobot框架构建，专注于机器人拾取药物这一精细操作任务。数据采集过程中，机器人通过前向运动学计算从根连杆至左右末端执行器的位姿，并融合腰部运动信息，构成末端执行器状态与动作序列。手部状态与指令则根据灵巧手类型动态调整维度，例如BrainCo手包含六自由度手指控制，覆盖拇指开合、侧摆及四指屈伸，数值范围统一映射至0.0至1.0之间，表征从张开到闭合的连续变化。同时，数据集记录了完整的机器人构型，包括根部位姿与29个关节位置，形成从观测到动作的闭环映射。

特点

数据集最显著的特点在于其异构灵巧手适配能力，支持Inspire、BrainCo与Dex1三种手型，每种手型具有不同的自由度与数值范围，BrainCo手具备六维精细控制，而Dex1手仅执行简单的开合操作。所有观测与动作数据均以36维向量统一表示机器人状态，前7维为根部位姿，后29维为关节位置，确保了数据格式的标准化。末端执行器信息以12维向量编码左右手位姿，兼顾了双臂协作场景下的对称性与腰部运动的耦合性。

使用方法

使用时，可通过HuggingFace的datasets库加载Parquet格式数据，指定config为default即可获取全部样本。每条样本包含观测与动作两部分，观测端提供末端执行器状态、手部状态与当前关节角度，动作端则提供目标末端位姿、手指指令与期望关节角度。研究人员可直接利用这些配对数据训练模仿学习或强化学习策略，尤其适用于双臂灵巧操作任务的策略迁移与泛化。

背景与挑战

背景概述

在机器人操作领域，精细化的物体抓取与操作任务对于仿人机器人的发展至关重要。G1_WBT_Brainco_Pick_Up_Medicine 数据集由基于 LeRobot 框架的研究团队创建，旨在为机器人“取药”这一典型精细操作任务提供标准化训练数据。该数据集聚焦于仿人机器人的末端执行器状态、手指关节角度以及全身运动规划，核心研究问题在于如何通过多模态状态-动作映射实现高精度、可泛化的药物拾取操作。作为面向具身智能与机器人模仿学习的重要资源，该数据集推动了从感知到执行的闭环策略研究，为家庭服务、医疗辅助等场景下的机器人应用奠定了数据基础。

当前挑战

数据集面临的核心挑战包括：首先，在领域问题层面，精细操作任务要求机器人同时协调腕部、手部及全身关节运动，而不同灵巧手（如 Inpire 手、BrainCo 手）的关节自由度与运动范围差异显著，如何统一建模并实现跨平台迁移是亟待突破的难点。其次，数据构建过程面临多重难题，例如末端执行器状态需通过正向运动学计算，而腰关节的引入增加了运动耦合复杂性；同时，手指动作的连续控制空间（0–1 或 5.5–0.0 范围）与离散任务指令之间的对应关系难以精确标定，导致模仿学习中的动作歧义。此外，数据采集环境与实际部署场景间常存在动态差异，亟需高效的领域自适应策略以提升策略鲁棒性。

常用场景

经典使用场景

在具身智能与机器人操作领域，G1_WBT_Brainco_Pick_Up_Medicine数据集专为精细化的抓取与拾取任务而设计，其经典使用场景集中于机器人通过视觉与状态感知，从复杂环境中准确拾取目标物体（如药品）。该数据集记录了机器人全身姿态、末端执行器状态及手部关节指令，尤其适用于训练基于模仿学习或强化学习的机器人操控策略，使机器人能够模仿人类般的灵巧抓取动作，在医疗辅助、家庭服务等场景中完成高精度的物体拾取。

解决学术问题

该数据集有效解决了机器人灵巧操作中运动规划与状态估计的学术难题。通过提供包含全身关节配置、末端执行器位姿及多类型手部（如BrainCo灵巧手）精细运动的轨迹数据，研究者可深入探索从高维状态空间到动作映射的端到端学习方法。它推动了非结构化环境下抓取稳定性的研究，并为机器人运动学建模、人机协同控制等课题提供了标准化基准，显著促进了具身智能体在动态场景中的自适应能力与操作泛化性。

衍生相关工作

围绕该数据集衍生了一系列前沿工作，包括基于扩散策略的机器人动作生成模型、多模态感知融合的抓取姿态预测网络，以及利用预训练视觉-语言模型进行零样本泛化的拾取策略。研究者还借鉴该数据格式开发了跨具身平台（如Inspire Hand与Dex1 Hand）的迁移学习框架，并探索了与仿真环境（如Isaac Gym）的联合训练方法。这些工作共同推动了通用机器人操作基座模型的发展，为构建统一的多任务操作智能体奠定了数据基础。