test-left-gazebo

该数据集由LeRobot创建，是一个用于机器人学研究的移动操作机器人数据集。它记录了名为sobit_home的机器人在仿真环境中的操作数据，包含1个完整episode和85帧数据，采用Apache-2.0许可证。数据集包括多模态观测和动作数据：动作数据涵盖19个关节的控制指令，涉及头部（头盘和头倾斜关节）、身体（升降关节）、左臂（肩部倾斜、上臂滚动、上臂弯曲、肘部、腕部倾斜、腕部滚动关节）和左手（多个手指关节）以及移动基座（x、y、θ坐标）。观测数据包括关节状态（与动作相同的19个关节）、左末端执行器的6维位姿（位置x,y,z和姿态roll,pitch,yaw）以及来自两个RGB摄像头的视频流：头部相机（640x480分辨率）和左手相机（1920x1200分辨率），视频采用h264编码，帧率为6fps。此外，数据集还包含时间戳、帧索引、episode索引等元数据。机器人详细信息表明其为移动操作机器人，具有完整的机械结构（头部、身体、双臂、双手、移动基座）和视觉传感器系统。该数据集适用于机器人模仿学习、强化学习、视觉运动控制等任务的研究与开发。This dataset was developed by LeRobot, serving as a mobile manipulation robotics dataset for robotics research. It records operational data of the sobit_home robot in a simulated environment, containing 1 complete episode and 85 frames of data, and is licensed under Apache-2.0. The dataset includes multimodal observation and action data: the action data covers control commands for 19 joints, involving the head (head plate and head tilt joints), body (lift joint), left arm (shoulder tilt, upper arm roll, upper arm flexion, elbow joint, wrist tilt, wrist roll joints), left hand (multiple finger joints), and the mobile base (x, y, θ coordinates). The observation data includes joint states (the same 19 joints as in the action space), 6-dimensional pose of the left end-effector (position x, y, z and orientation roll, pitch, yaw), as well as video streams from two RGB cameras: the head camera (resolution 640×480) and the left hand camera (resolution 1920×1200). The videos are encoded with h264 at a frame rate of 6 FPS. Additionally, the dataset contains metadata such as timestamps, frame indices, and episode indices. Detailed specifications of the robot indicate that it is a mobile manipulation robot with a complete mechanical structure (head, body, dual arms, dual hands, and mobile base) and a visual sensor system. This dataset is applicable to the research and development of tasks including robot imitation learning, reinforcement learning, visual-motor control, and other related fields.

原始信息汇总

数据集概述

• 名称: test-left-gazebo
• 许可证: Apache-2.0
• 任务类别: 机器人学 (Robotics)
• 创建工具: LeRobot (https://github.com/huggingface/lerobot)
• 机器人类型: 移动操作器 (Mobile Manipulator)
• 机器人名称: sobit_home (版本 1.0.0)

数据集规模

• 总片段数: 1
• 总帧数: 85
• 总任务数: 1
• 帧率 (FPS): 6
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB
• 分割: 所有数据用于训练 (train: 0:1)

数据结构

数据路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

特征 (Features)

特征名称	数据类型	形状	说明
action	float32	[19]	19个关节/底座的动作指令
action.is_fresh	bool	[19]	每个动作分量是否新鲜
action.delta	float32	[19]	动作的增量值
action.delta.is_fresh	bool	[19]	每个动作增量是否新鲜
observation.state	float32	[19]	19个关节/底座的观测状态
observation.state.is_fresh	bool	[19]	每个状态分量是否新鲜
action.base	float32	[3]	底座动作 (x, y, theta)
action.base.is_fresh	bool	[3]	每个底座动作是否新鲜
observation.ee_pose.left	float32	[6]	左臂末端执行器位姿 (x, y, z, roll, pitch, yaw)
observation.ee_pose.left.delta	float32	[6]	左臂末端执行器位姿增量
observation.images.head_camera	video	[3, 480, 640]	头部摄像头视频 (h264, 6fps)
observation.images.hand_left_camera	video	[3, 1200, 1920]	左手摄像头视频 (h264, 6fps)
timestamp	float32	[1]	时间戳
frame_index	int64	[1]	帧索引
episode_index	int64	[1]	片段索引
index	int64	[1]	全局索引
task_index	int64	[1]	任务索引

机器人形态 (Morphology)

机器人 sobit_home 包含以下可操作部件：

• 头部 (Head): 2个关节 (head_pan_joint, head_tilt_joint)
• 身体 (Body): 1个关节 (body_lift_joint)
• 左臂 (Arm Left): 6个关节 (shoulder_tilt, upper_roll, upper_flex, elbow, wrist_tilt, wrist_roll)
• 右臂 (Arm Right): 6个关节 (shoulder_tilt, upper_roll, upper_flex, elbow, wrist_tilt, wrist_roll)
• 左端执行器 (End Effector Left): 8个手指关节
• 右端执行器 (End Effector Right): 8个手指关节
• 移动底座 (Mobile Base): 支持前进/后退和转向，有8个车轮关节

传感器

• 类型: RGB摄像头
• 摄像头列表:
  • head_camera: 640x480 分辨率
  • hand_left_camera: 1920x1200 分辨率
  • hand_right_camera: 1920x1200 分辨率

用户信息

• 创建者: Keith Valentin
• 邮箱: [e-mail]
• 地点: 日本，创价大学

引用

• BibTeX: [More Information Needed]

搜集汇总

数据集介绍

构建方式

test-left-gazebo 数据集依托 LeRobot 框架构建，专注于移动操作机器人的示教数据采集。该数据集针对 SOBIT HOME 机器人平台，在 Gazebo 仿真环境中通过遥操作方式记录单条完整任务演示，包含 85 帧时序数据，以 6 FPS 的采样频率同步获取机器人 19 维关节状态与动作指令，以及头戴相机（640×480）和左手相机（1920×1200）的视觉观测。数据以 Parquet 格式分块存储，视频流采用 H.264 编码压缩，并依据 LeRobot v3.0 规范组织元信息与特征字段。

特点

该数据集具备多模态精细标注与结构化特征体系。核心观测包含机器人 19 维联合空间状态（涵盖头部、躯干、左臂及移动底座），并额外提供末端执行器六自由度位姿及增量信息。动作层不仅记录原始关节指令，还存储增量形式与新鲜度标记，便于策略学习中的时序建模。视觉观测通过双目 RGB 相机捕获，左侧手部相机分辨率高达 1200p，适用于精细操作任务。数据集仅含单一任务片段，规模精巧，适合快速原型验证与算法调试。

使用方法

用户可通过 LeRobot 生态直接加载该数据集进行模仿学习与机器人策略训练。利用 LeRobot 内置的数据集可视化工具（Hugging Face Spaces）可交互式浏览帧序列与动作轨迹。在代码层面，通过 `lerobot.common.datasets` 模块读取 Parquet 文件和同步视频切片，获取对齐的观测-动作对。典型应用场景包括基于行为的克隆（Behavioral Cloning）和隐式策略学习（Implicit Policy），尤其适用于移动操作机器人的桌面级操作任务研究。

背景与挑战

背景概述

该数据集由日本创价大学的Keith Valentin等人于近期创建，依托于LeRobot开源框架，旨在为具身智能领域的移动操作机器人研究提供标准化数据支持。核心研究问题聚焦于如何通过采集多模态感知信息与高维度关节动作数据，训练机器人完成复杂的环境交互任务。作为面向Sobit Home双手机器人平台的数据集，其贡献在于提供了包含头部、躯干、双臂及移动底盘在内的19维动作空间记录，以及多视角视觉观测数据，为模仿学习与强化学习算法在移动操作场景中的迁移应用奠定了数据基础，对推动机器人从固定工位向自主移动场景的跨越具有重要意义。

当前挑战

该数据集所解决的领域挑战在于移动操作机器人面临的高维度动作控制与多模态感知融合难题，尤其是当机器人同时涉及底盘移动、身体升降、双臂协调与手部精细操作时，传统单一任务数据集难以提供足够的轨迹多样性。构建过程中，挑战首先体现为在Gazebo仿真环境中精确同步头戴摄像机（640×480分辨率）与手部摄像机（1920×1200分辨率）的多视角视频流，同时以6帧/秒的低采样率平衡数据质量与存储开销。其次，数据采集仅包含1个任务环节共85帧样本，规模极小，对模型的泛化能力构成严峻考验，亟需通过仿真到真实的迁移学习或数据增强策略弥补稀疏性带来的统计偏差。

常用场景

经典使用场景

在机器人学习与操控领域，test-left-gazebo数据集为移动机械臂平台的模仿学习与行为克隆提供了珍贵的基准资源。该数据集记录了SOBIT-HOME机器人执行单次任务时的完整状态-动作轨迹，涵盖头部、躯干、左臂、左手末端执行器及移动底盘的19维关节控制指令与观测信息，并同步采集了头部及左手摄像头的视觉流。研究者可借此训练端到端的视觉运动策略，使机器人能够从专家示范中习得精细的操控技能，尤其在厨房、家庭等半结构化环境中执行抓取与移动复合操作。

解决学术问题

该数据集直击机器人领域长期面临的样本效率低下与泛化能力不足这两大核心瓶颈，为少样本模仿学习研究提供了标准化数据支撑。通过记录具有完整运动学与动力学特性的操控序列，它使学术界得以系统探索动作空间的高维约束与视觉观测之间的映射关系，推动基于Transformer或扩散模型的策略学习范式发展。其开源特性降低了重复采集数据的门槛，促进了机器人学习算法的可复现性对比，对理解人类示范数据中蕴含的运动先验与任务结构具有重要理论价值。

衍生相关工作

围绕该数据集衍生的工作主要集中在基于LeRobot框架的策略优化与数据增强研究。经典成果包括利用该数据训练的扩散策略（Diffusion Policy）实现高精度轨迹跟踪，以及通过时序预测模型（如Action Chunking with Transformers）提升长程任务的成功率。此外，部分研究借鉴其多视角视觉输入设计，开发了适用于移动机械臂的跨视点状态估计算法。数据集开放的Apache-2.0协议还催生了社区贡献的迁移学习基准，将Gazebo仿真环境中的操控知识迁移至实体机器人平台。