shawnwandelbots/unitree_g1_dex3_pole_in_basket

该数据集是使用LeRobot框架创建的机器人控制数据集，专门针对Unitree G1机器人。数据集包含65个完整的情节（episodes），总计147643帧数据，帧率为30fps。数据以Parquet文件格式存储，总数据文件大小为100MB，视频文件大小为500MB。数据集仅包含训练集，涵盖单一任务。数据结构包括：观测状态（observation.state）和动作（action），均为28维浮点数组，对应机器人的左右肩部、肘部、腕部等关节角度以及左右末端执行器（ee）的7维参数；三个彩色图像观测（observation.images.color_0/1/2），每个为480x640分辨率、3通道的视频数据，采用AV1编解码器；此外还包括时间戳、帧索引、情节索引等元数据。该数据集适用于机器人学习、模仿学习或强化学习任务。This dataset is a robotics control dataset created using the LeRobot framework, specifically for the Unitree G1 robot. It contains 65 complete episodes, totaling 147643 frames at 30fps. Data is stored in Parquet format, with a total data file size of 100MB and video file size of 500MB. The dataset includes only a training set and covers a single task. The data structure comprises: observation state and action, both as 28-dimensional float32 arrays corresponding to joint angles (left/right shoulder, elbow, wrist) and 7-dimensional parameters for left/right end-effectors; three color image observations (observation.images.color_0/1/2), each as video data with 480x640 resolution, 3 channels, using AV1 codec; additionally, metadata such as timestamp, frame index, and episode index are included. This dataset is suitable for robotics learning, imitation learning, or reinforcement learning tasks.

搜集汇总

数据集介绍

构建方式

unitree_g1_dex3_pole_in_basket数据集基于LeRobot框架构建，专为机器人操作任务设计。该数据集通过Unitree G1人形机器人配备的灵巧手执行“将杆子放入篮子”这一精细操作任务进行采集。数据采集过程中，机器人状态与动作指令以28维浮点向量记录，涵盖肩部、肘部、腕部等关节角度及末端执行器位姿。同时，三路RGB摄像头以30帧/秒的速率同步录制640×480分辨率的视频流，捕捉多视角场景信息。数据集包含65个演示回合，总计约147,643帧，所有数据以Parquet格式存储，视频压缩采用AV1编码，确保了数据的高效存取与多模态对齐。

特点

该数据集的核心特点在于其多模态、高维度与任务专注性。首先，数据融合了关节状态、动作指令与多视角视觉信息，为模仿学习与强化学习提供了丰富的感知与决策基础。其次，28维的状态与动作空间精确刻画了人形机器人双臂的精细运动，尤其适用于灵巧操作研究。此外，数据集针对单一任务“杆入篮”集中采集，保证了数据分布的一致性与任务相关性，降低了学习难度。数据划分仅含训练集，便于研究者直接进行端到端策略学习。总体而言，该数据集为评估人形机器人灵巧操作算法提供了标准化基准。

使用方法

使用该数据集时，推荐采用LeRobot框架进行加载与预处理。用户可通过指定配置名称'default'访问存储于Parquet文件中的结构化数据与MP4视频文件。训练过程中，可结合'observation.state'中的关节状态与'observation.images'中的多视角图像作为输入，以'action'向量作为监督信号，构建模仿学习模型。数据集的'chunks_size'为1000帧，便于分块处理以适配显存限制。研究者亦可依据'episode_index'和'frame_index'灵活构建批次采样策略。若需进行跨任务泛化研究，可扩展该数据集结构，增加任务索引字段以支持多任务学习场景。

背景与挑战

背景概述

随着人形机器人技术的飞速发展，宇树科技推出的G1人形机器人凭借其灵活的关节配置与多模态感知能力，正成为具身智能研究的重要硬件平台。该数据集于近年创建，依托LeRobot框架构建，专注于解决机器人操控领域中的动态物体操作难题，具体任务为令双足人形机器人通过双七自由度机械臂将细长杆件精准插入篮筐。数据集包含65个演示回合、逾14万帧轨迹数据，并记录了28维关节状态与动作信息，同时配以三视角高清视频，为研究人形机器人协调控制、精细操作与视觉—运动耦合提供了珍贵的基准资源。其发布推动了机器人学习从静态环境向动态、非结构化场景的迁移，对验证模仿学习与强化学习算法在真实人形机器人上的泛化能力具有重要示范意义。

当前挑战

该数据集所解决的领域问题核心在于人形机器人在非预设约束下执行精准、连贯的杆件入篮动作所面临的泛化与鲁棒性挑战，例如双腕协同与末端位姿的实时调整，以及视觉反馈在动态遮挡与光照变化下的鲁棒感知。与此同时，数据构建过程亦遭遇显著困难，包括高自由度系统的流畅演示采集——需操作者远程遥操作以获取高质量示教轨迹，并保障与G1机器人28个运动维度的精确映射；视频与状态数据的高频同步要求精密的时序对齐机制，以避免帧间偏差；此外，涵盖多视角视觉观测与本体感觉的大型多模态数据集对存储与处理能力构成考验，且单任务下的65个片段尚难以覆盖极端工况，为模型泛化至未见场景预留了挑战空间。

常用场景

经典使用场景

在人形机器人灵巧操作领域，unitree_g1_dex3_pole_in_basket数据集为经典的任务学习框架提供了宝贵的数据支撑。该数据集聚焦于G1人形机器人将细长杆状物精准放入篮筐这一操作任务，涵盖了65个完整演示片段，总计超过14万帧的时序数据。研究者可借助这些包含28维关节状态与末端执行器位姿的高维观测信息，结合三视角视觉输入，训练模仿学习或强化学习模型，使机器人掌握从感知到运动控制的端到端映射关系。数据集的高频率采集（30 FPS）与统一标注格式，为行为克隆、扩散策略等方法的复现与对比提供了标准化基准。

衍生相关工作

该数据集自发布以来，已催生出一系列具有启示性的衍生研究方向。部分工作基于其提供的视觉-关节对齐数据，构建了混合专家策略框架以分解杆状物操作中的粗粒度移动与细粒度对准子任务。另有研究者通过在该数据上预训练视觉编码器，再迁移至其他多指灵巧手操作基准，验证了跨本体姿态表征的可复用性。扩散策略与基于Transformer的时序预测模型亦在此数据上取得了令人瞩目的性能突破，推动了机器人领域从端到端演示学习迈向更普适的运动基元组合范式。

数据集最近研究

最新研究方向

该数据集聚焦于人形机器人宇树G1的灵巧操作能力，围绕“杆入篮”这一精细任务，采集了65个高质量视频-状态-动作演示样本，涵盖双臂28维关节空间与末端执行器数据。在具身智能前沿，此类数据集正推动从仿真到现实的操作技能迁移研究，尤其为模仿学习与强化学习算法提供了物理世界中的长时域、多模态基准。结合当前机器人基础模型热潮，该数据涌现出对通用操作策略泛化性的探索，即如何让单任务演示支撑起更复杂的堆叠、插接等行为，其意义在于缩小实验室演示与工业物流、家庭服务等现实部署间的鸿沟。