sobit_home-pickup_the_block-gazebo

该数据集由LeRobot创建，名为sobit_home-pickup_the_block-gazebo，专注于在Gazebo仿真环境中使用移动操作机器人sobit_home执行拾取积木的任务。数据集包含101个episodes，总计8742帧数据，帧率为6fps，以Parquet格式存储，总数据文件大小约为100MB，视频文件大小约为200MB，仅包含训练集。数据结构包括动作（34维浮点向量，涵盖机器人31个关节角度和移动基座的3个自由度）和观察（如31维关节状态、左右末端执行器位姿及增量、三个RGB摄像头的视频流）。此外，还包含时间戳、帧索引等元数据。适用于机器人模仿学习、强化学习和移动操作策略研究，特别是多关节控制与多视角视觉感知任务，采用Apache-2.0许可证。

原始信息汇总

数据集概述

数据集名称: sobit_home-pickup_the_block-gazebo

许可证: Apache-2.0

任务类别: 机器人学 (robotics)

标签: LeRobot

数据集创建工具: LeRobot

---

数据集结构

基本信息

• 代码库版本: v3.0
• 机器人类型: 移动操作臂 (mobile_manipulator)
• 总任务数: 1
• 总片段数: 101
• 总帧数: 8742
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 帧率 (FPS): 6
• 数据集划分: 训练集 (train) 包含全部 101 个片段

数据文件结构

• 数据文件路径: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征 (Features)

特征名	数据类型	形状	说明
action	float32	(34,)	包含34个关节与底盘动作指令，涵盖头部、身体、左右臂、左右手及底盘。
action.is_fresh	bool	(34,)	标识动作数据是否为最新。
action.delta	float32	(34,)	动作的增量值。
action.delta.is_fresh	bool	(34,)	标识动作增量数据是否为最新。
observation.state	float32	(31,)	机器人31个关节的状态观测值（不含底盘）。
observation.state.is_fresh	bool	(31,)	标识状态数据是否为最新。
action.base	float32	(3,)	底盘动作（x, y, theta）。
action.base.is_fresh	bool	(3,)	标识底盘动作数据是否为最新。
observation.ee_pose.left	float32	(6,)	左手末端执行器位姿 (x, y, z, roll, pitch, yaw)。
observation.ee_pose.left.delta	float32	(6,)	左手末端执行器位姿增量。
observation.ee_pose.right	float32	(6,)	右手末端执行器位姿。
observation.ee_pose.right.delta	float32	(6,)	右手末端执行器位姿增量。
observation.images.head_camera	video	(3, 480, 640)	头部摄像头视频数据 (H.264编码, 6 FPS)。
observation.images.hand_left_camera	video	(3, 1200, 1920)	左手摄像头视频数据。
observation.images.hand_right_camera	video	(3, 1200, 1920)	右手摄像头视频数据。
timestamp	float32	(1,)	时间戳。
frame_index	int64	(1,)	帧索引。
episode_index	int64	(1,)	片段索引。
index	int64	(1,)	全局索引。
task_index	int64	(1,)	任务索引。

机器人信息 (robot_info)

• 机器人名称: sobit_home
• 机器人版本: 1.0.0
• 外形类型: 移动操作臂 (mobile_manipulator)
• 组成部分: 头部、身体、左臂、右臂、左末端执行器、右末端执行器、移动底盘
• 传感器: RGB摄像头 (3个: 头部摄像头、左手摄像头、右手摄像头)

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，旨在为移动机械臂在Gazebo仿真环境中的物体拾取任务提供训练数据。数据集由Sobit Home机器人平台在模拟环境中执行101个操作回合（episode）采集而成，总计包含8742帧数据。每个回合记录了机器人头部、躯干、双臂、末端执行器及移动底盘的34维关节动作指令与31维状态观测，并通过head_camera、hand_left_camera和hand_right_camera三个RGB摄像头同步捕获视觉信息，图像分辨率分别为640×480、1920×1200和1920×1200。数据以Parquet格式存储的动作与状态序列及H.264编码的视频文件共同构成，体现了仿真环境中多模态感知与操控数据的系统化收集。

使用方法

该数据集适用于机器人操作任务的模仿学习与行为克隆研究。使用者可通过LeRobot库加载Parquet格式的轨迹数据与视频帧，构建具备26个自由度的双臂移动机械臂的操控模型。训练时可将34维动作序列作为网络输出目标，结合31维关节状态与三视角图像作为输入，设计策略网络。数据已按标准划分为训练集（0-100回合），便于直接用于监督学习。此外，数据中的动作增量信息与末端执行器位姿可用于训练相对动作预测模型，或作为强化学习中的参考轨迹，尤其适合在Gazebo仿真环境中进行策略迁移与验证。

背景与挑战

背景概述

该数据集由研究者k-valentin创建，依托LeRobot框架，专注于移动机械臂的仿真拾取任务，旨在推动机器人学习在家庭场景中的应用。数据集于近期发布，以模拟环境sobit_home机器人为载体，通过Gazebo仿真平台采集了101个拾取木块的任务演示，共计8742帧，涵盖头、身、双臂及移动基座的完整关节状态与视觉观测。其核心研究问题在于探索高维度动作空间（34维）下多模态感知与控制的端到端学习范式。通过提供标准化的视频与状态数据，该数据集为模仿学习与强化学习算法在真实家庭机器人操作任务中的迁移提供了宝贵的基准，对具身智能研究具有重要的促进意义。

当前挑战

该数据集所解决的领域挑战集中于移动机械臂在非结构化家庭环境中的精确操作问题，尤其是拾取任务所需的高自由度协调控制。具体挑战包括：1) 高维动作空间的稀疏性与连续性导致探索困难，算法需在34维关节与基座控制中平衡精度与效率；2) 多视角视觉信息（头、左手、右手摄像机）的融合与时空对齐，以应对遮挡与光照变化；3) 数据集构建中，遥操作采集与仿真到现实的迁移鸿沟，包括动力学差异与感知噪声的消除，以及有限演示（101个episode）下的泛化能力不足限制。

常用场景

经典使用场景

在移动机械臂领域，sobit_home-pickup_the_block-gazebo数据集为模仿学习与行为克隆提供了高质量的示范数据。该数据集聚焦于“拾取方块”这一基础操作任务，记录了101个完整回合、共计8742帧的机器人运动轨迹，涵盖头部、双臂、躯干及移动基座的全部34维动作空间。每个回合包含了从移动基座导航、双臂协同抓取到手指精细控制的完整动作序列，配合头戴相机与双手腕相机的多视角视觉观测，为研究机器人自主拾取操作提供了标准化的训练与评估基准。

解决学术问题

该数据集解决了移动机械臂在非结构化环境中执行复杂操作任务的学术难题。具体而言，它突破了传统固定基座机械臂的研究局限，将移动导航与双臂精细操作进行联合建模，为探索“移动-操作”耦合问题提供了宝贵的数据支撑。通过提供高精度的关节状态、末端执行器位姿与多视角视觉图像的同步记录，研究者得以深入分析视觉-运动映射关系，推动端到端抓取策略、混合专家系统以及因果推理在机器人操作中的应用，对提升机器人在家庭服务场景中的泛化能力与鲁棒性具有重要学术价值。

实际应用

在实际应用中，该数据集直接服务于家庭服务机器人、仓储搬运机器人及辅助生活设备的开发与部署。基于该数据集训练的策略，可使机器人学会在复杂家居环境中自主导航至目标位置，并通过双臂协调完成物品拾取、整理与递送等日常任务。此外，该数据集还适用于机器人操作技能迁移学习，使得预训练模型能够快速适应新的物体形状、材质或摆放位置，显著降低机器人部署中对人工编程的依赖，推动智能家居与养老助残等领域的产业化进程。

数据集最近研究

最新研究方向

在机器人操作与移动操控领域，该数据集聚焦于家用服务机器人在仿真环境中执行精细物体抓取与搬运任务的前沿探索。依托LeRobot框架与Gazebo模拟平台，数据集收录了SOBIT HOME双臂移动操控机器人完成“拾取方块”这一典型任务的101个示范轨迹，涵盖8742帧高保真状态-动作序列，并同步采集了头部与双手腕关节的高清视觉观测。这一数据资源为模仿学习与行为克隆算法在复杂双机械臂协同操控场景下的泛化能力研究提供了标准化训练样本，尤其推动了从仿真到现实迁移中端到端策略的可复现性验证。其结构化定义的动作空间（含34维关节控制与底盘运动指令）和精细的末端执行器位姿标注，直接服务于多模态感知融合、轨迹优化及细粒度灵巧操作等热点方向，成为联结虚拟训练环境与真实机器人部署的桥梁性基准。