shivubind/objects_collector_lastonly_test5_aligned

该数据集是一个与Unitree_G1_Inspire机器人相关的机器人数据集，包含5个episodes、2389帧和1个任务。数据集包含观察状态（26个浮点型特征）、动作（26个浮点型特征）、来自两个摄像头（cam_high和cam_wrist）的图像数据（分别为720x1280x3和480x640x3的视频数据），以及其他元数据如时间戳、帧索引、episode索引等。数据集使用LeRobot创建，采用apache-2.0许可证。

This dataset is a robotics dataset related to the Unitree_G1_Inspire robot, containing 5 episodes, 2389 frames, and 1 task. The dataset includes observation states (26 float32 features), actions (26 float32 features), image data from two cameras (cam_high and cam_wrist, with video data of 720x1280x3 and 480x640x3 respectively), and other metadata such as timestamps, frame indices, episode indices, etc. The dataset was created using LeRobot and is licensed under apache-2.0.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为机器人模仿学习提供标准化的训练与评估数据。数据集包含5个完整演示片段，总计2389帧，全部由Unitree G1 Inspire型机器人执行单一任务时采集。数据采集频率为30帧每秒，以Parquet格式存储结构化数据，并辅以MP4视频文件记录高分辨率视觉观测。数据集已按训练集划分（0:5），所有帧均对齐至统一的序列结构。

特点

数据集最具特色之处在于其高维动作与状态空间的细粒度设计。观测状态与动作空间均为26维浮点向量，精确映射了从肩部、肘部到手腕的多关节角度以及五指独立弯曲与旋转参数。视觉观测包括来自cam_high与cam_wrist双视角的视频流，分辨率分别为720p与480p，提供全局与局部双重视野。通过chunks_size为1000的块机制，有效支持大规模并行加载与流水线训练。

使用方法

数据集可直接通过LeRobot库加载，默认配置下使用.parquet文件与对应的.mp4视频文件。用户可通过指定data_dir与config参数初始化数据集，利用标准的HuggingFace Datasets接口进行迭代。在使用时，推荐将observation.state与observation.images作为模型输入，action作为预测目标。数据集设计支持基于episode_index与frame_index的序列切分，便于构建时间维度的经验回放缓冲区。

背景与挑战

背景概述

在机器人学习领域，模仿学习与迁移控制策略的发展日益依赖于高质量、多模态的数据集。objects_collector_lastonly_test5_aligned 数据集由基于 LeRobot 框架构建，利用 Unitree G1 机器人平台搭配 Inspire 灵巧手采集而成，于近期公开并采用 Apache-2.0 协议发布。该数据集聚焦于单任务物体抓取收集场景，通过 5 个示范片段（总计 2389 帧）记录了 30 FPS 下的机器人状态与动作序列，涵盖 26 维关节角度与手指自由度，并包含高分辨率顶部相机（720p）与腕部相机（480p）的同步视频流。该数据集为机器人操纵中状态-动作对的细粒度对齐研究提供了标准化资源，尤其适用于双臂协调与灵巧手操作的算法验证，对机器人灵巧操纵领域的基准测试与泛化性能研究具有重要意义。

当前挑战

该数据集面临的挑战主要源于领域问题与构建过程两个层面。在领域问题层面，灵巧操纵任务要求模型从有限示范中泛化至未见物体位姿与场景变化，而当前仅含 5 段短序列的规模难以支撑鲁棒的行为克隆训练，且高维动作空间（26维）与多模态输入（状态+双视角图像）的融合给策略学习带来显著难度。在构建过程层面，机器人遥操作采集易受手眼标定误差与关节摩擦影响，导致状态与动作的对齐偏差；视频编码采用 AV1 格式虽压缩高效，但可能引入解码实时性瓶颈；同时，顶部与腕部视角分辨率不同（720p vs. 480p），需在后续处理中实现空间对齐，这增加了数据预处理的复杂度与计算开销。

常用场景

经典使用场景

在具身智能与机器人操作领域，objects_collector_lastonly_test5_aligned数据集专为双臂人形机器人的精细操作任务而生。该数据集基于Unitree G1 Inspire机器人平台采集，包含5个回合、近2400帧的高频（30 FPS）运动轨迹与视觉观测，记录了机器人双臂26个自由度（包括肩、肘、腕及五指关节）的状态与动作序列，并辅以高位与腕部双视角视频流。其经典使用场景聚焦于模仿学习与行为克隆，研究者可利用此对齐良好的状态-动作对训练策略网络，使机器人复现抓取、放置等物体收集行为，尤其适用于高维连续控制任务中的端到端策略学习。

实际应用

在实际应用中，该数据集所表征的物体收集能力是智能仓储和家庭服务机器人的核心技能基石。例如，机器人可借助训练后的策略，在快递分拣场景中自主识别并抓取包裹，或居家环境中协助老人整理散落物品。数据集中的双臂协调数据尤为珍贵，它赋予机器人协同操作的本领，比如一手扶稳容器、另一手放入物件。基于此，开发者可将技能迁移至不同形态的仿人平台，实现快速部署。此外，该数据采集范式也适用于远程医疗或危险环境中的机器人操控，通过示教学习让机械臂完成精细操作，从而降低人力风险并提高作业效率。

衍生相关工作

该数据集孕育了一系列推动具身智能发展的衍生工作。其中，基于LeRobot框架的标准数据格式催生了通用的策略训练流程，研究者常以此作为基线，对比扩散策略（Diffusion Policy）、行为变换器（Behavior Transformer）等先进算法的效果。此外，数据集中的多视角视频被用于开发跨模态特征提取器，例如将视觉语言模型与机器人动作空间对齐，形成更强泛化能力的视觉-语言-动作模型。还有工作专注于数据增强，通过重定向原始轨迹适配不同的机器人运动学参数，从而构建更大规模的仿真训练库。这些衍生研究共同将objects_collector系列数据集塑造成评估人形机器人操作智能的标杆。