usagiovo/g1_brack_pickbottle_dataset

该数据集使用LeRobot创建，专注于机器人技术领域，具体针对Unitree_G1_Brainco机器人类型。数据集包含201个episodes，总计174483帧，涉及1个任务和804个视频。数据以parquet文件格式存储，视频以mp4格式存储，帧率为30fps。数据集仅提供训练分割（train）。关键特征包括：观察状态（observation.state），一个26维的浮点数组，表示机器人左右肩、肘、腕和手部关节的状态；动作（action），类似结构的26维浮点数组，用于控制机器人；图像观察来自四个摄像头（cam_left_high、cam_right_high、cam_left_wrist、cam_right_wrist），每个提供480x640分辨率、3通道的视频数据；以及时间戳、帧索引、episode索引等元数据。该数据集适用于机器人学习任务，如动作模仿或视觉导航。This dataset was created using LeRobot and focuses on the robotics domain, specifically for the Unitree_G1_Brainco robot type. It contains 201 episodes, totaling 174,483 frames, with 1 task and 804 videos. The data is stored in parquet format, and videos are in mp4 format with a frame rate of 30fps. The dataset only includes a training split. Key features include: observation state (observation.state), a 26-dimensional float32 array representing the state of robot joints such as left/right shoulder, elbow, wrist, and hand joints; action (action), a similar 26-dimensional float32 array for robot control; image observations from four cameras (cam_left_high, cam_right_high, cam_left_wrist, cam_right_wrist), each providing video data at 480x640 resolution with 3 channels; and metadata such as timestamp, frame index, and episode index. This dataset is suitable for robotics learning tasks, such as action imitation or visual navigation.

搜集汇总

数据集介绍

构建方式

在机器人学习与具身智能研究领域，精细操作数据集是推动算法进步的关键基石。g1_brack_pickbottle_dataset是专为Unitree G1人形机器人设计的操作数据集，基于LeRobot框架构建。数据集包含201个演示片段，共计174,483帧图像，所有数据均以30帧/秒的速率采集，并统一划分为训练集。数据以Parquet格式存储，每个片段包含机器人26维关节状态观测值、对应的26维动作指令、多视角视觉图像（左高、右高、左腕、右腕四路摄像头，分辨率480×640）以及时间戳和帧索引等元信息，形成了完整的“状态-动作-视觉”闭环记录。

特点

该数据集的核心特色在于其高维度的精细控制能力。状态与动作空间均为26维，覆盖了从肩部、肘部、腕部到五指各关节的完整运动链，能够表达复杂灵巧的抓取策略。视觉观测部分包含四个同步摄像头，从不同高度和腕部视角采集场景信息，为多模态融合感知提供了丰富素材。数据总帧数达174,483帧，保证了足够的数据量以支持复杂策略的学习，且所有视频采用AV1编码以平衡存储与画质。

使用方法

使用该数据集时，研究人员可借助HuggingFace的datasets库或LeRobot框架直接加载。数据已按照Episode索引组织，便于提取连续的轨迹片段。根据元信息中定义的特征格式，用户可灵活提取单帧或多帧的状态、动作与图像数据，用于模仿学习、行为克隆或强化学习中的策略训练。四路摄像头图像可分别或联合用于视觉表征学习，26维关节控制量则可直接应用于机器人运动学逆解与优化。

背景与挑战

背景概述

随着具身智能与机器人学习领域的迅猛发展，从人类演示中高效获取机器人操作技能成为关键研究课题。g1_brack_pickbottle_dataset 数据集由基于 LeRobot 框架的团队构建，采用宇树 G1 人形机器人（Unitree G1）配合脑控接口（Brainco）于近期创建，专注于“抓取瓶子”这一精细操作任务。该数据集包含 201 个示范片段、超过 17 万帧时序数据，并利用多视角视觉与 26 维关节空间状态-动作对进行记录。其核心研究问题在于探索如何在非结构化环境中实现人形机器人对上肢与手部多自由度的灵巧控制，从而推动模仿学习与行为克隆在真实机器人操作任务中的应用，并与 LeRobot 社区共同拓展了可复现的机器人学习基准。

当前挑战

该数据集面临的核心挑战在于多维度层面：首先，所解决的领域问题聚焦于人形机器人在复杂抓取任务中的泛化与鲁棒性，由于瓶子的形状、材质与放置姿态各异，以及环境光照和背景干扰，从有限示范中学习到的策略极易出现过拟合；其次，构建过程中遭遇了演示获取的精确性难题，包括脑控信号与机器人执行之间的延迟与噪声校准，以及左右手多摄像头时序同步问题；此外，30帧每秒的高频采样与201个片段的数据量虽提供了丰富的动态信息，却也对数据存储、压缩编码（如AV1）以及后续策略训练的样本效率提出了严苛要求。

常用场景

经典使用场景

g1_brack_pickbottle_dataset是专为人形机器人操控任务设计的高保真数据集，其核心应用场景聚焦于基于视觉与关节状态反馈的抓取与搬运操作。该数据集采集自宇树G1机器人执行‘取瓶子’任务的201个完整轨迹，涵盖26维关节角度与四路高清视觉流（左高、右高、左腕、右腕）。研究者可借此训练模仿学习或强化学习模型，使机器人从多视角视觉观察和本体感知中习得精准的抓取策略，尤其适用于双臂协调、灵巧手精细控制等复杂动作序列的学习与泛化。

解决学术问题

该数据集为机器人操作领域的几个关键学术难题提供了标准化研究平台。它有效解决了模仿学习中‘多模态感知融合’的挑战——将高维视觉特征与低维关节状态进行时序对齐与联合建模，同时为‘小样本泛化’问题提供基准：201条轨迹虽有限，但通过其结构化的多视角视觉数据，可探索数据增强、域随机化或预训练-微调范式来提升策略迁移能力。此外，它为人形机器人的‘灵巧操作’研究提供了宝贵的真实世界演示数据，助力突破传统刚性抓取限制，推动从简单夹取向类人精细操作的理论演进。

衍生相关工作

基于该数据集衍生的经典工作主要包括：利用LeRobot框架构建的模仿学习基线模型（如动作分块Transformer、扩散策略），这些方法从多段演示中提取动作先验，实现单步到多步的连贯运动预测；基于多视角注意力机制的视觉-运动联合表示学习，以增强对物体空间关系与机器人自身构型的理解；以及结合数据增广的域适应技术，将仿真训练的策略迁移至真实G1机器人，验证数据在Sim2Real研究中的支撑价值。此外，该数据集也被用于对比不同演示质量对策略鲁棒性的影响，推动人机交互中数据采集规范的优化。