lerobot/aloha_mobile_elevator

该数据集包含多个特征，包括来自不同摄像头的视频帧（如高摄像头、左手腕摄像头、右手腕摄像头）、状态序列、动作序列等。数据集还包含每个样本的索引、时间戳、是否结束等信息。数据集有一个训练集分割，包含45000个样本，总大小为17645625字节，下载大小为4429012字节。

原始信息汇总

数据集概述

数据集特征

• observation.images.cam_high: 视频帧格式
• observation.images.cam_left_wrist: 视频帧格式
• observation.images.cam_right_wrist: 视频帧格式
• observation.state: 序列格式，float32类型，长度14
• observation.effort: 序列格式，float32类型，长度14
• action: 序列格式，float32类型，长度14
• episode_index: int64类型
• frame_index: int64类型
• timestamp: float32类型
• next.done: bool类型
• index: int64类型

数据集分割

• train:
  • 数据量: 17645625字节
  • 示例数量: 45000

数据集大小

• 下载大小: 4434031字节
• 数据集大小: 17645625字节

配置

• config_name: default
  • data_files:
    • split: train
      • path: data/train-*

搜集汇总

数据集介绍

构建方式

在移动操控机器人领域，Mobile ALOHA系统通过低成本全身遥操作实现了双臂移动操作的精细数据采集。该数据集基于LeRobot框架构建，包含20个完整操作回合，共计45000帧时序数据，采样频率高达50帧/秒。数据以Parquet格式存储于分块目录中，每个回合的观测信息涵盖三路高清摄像头（顶部及左右腕部）的640×480像素视频流、14维关节状态与力矩向量，以及对应的14维动作指令。视频采用AV1编解码压缩，兼顾画质与存储效率，所有数据均按统一索引与时间戳对齐，形成结构化的机器人操作序列。

使用方法

使用该数据集时，研究者可通过LeRobot库直接加载Parquet格式的时序数据与关联视频文件。数据集遵循标准的episode-chunk组织模式，利用索引字段可高效定位特定回合的帧序列。对于模仿学习或强化学习任务，可提取observation.state与action字段作为状态-动作对，结合三路视觉观测构建多模态策略模型。视频数据以MP4格式单独存储，在训练时需按时间戳同步解码。数据集默认将全部20个回合用于训练，支持通过调整split参数自定义训练-验证划分，适配不同的算法验证需求。

背景与挑战

背景概述

移动操作机器人领域长期受困于高成本硬件与复杂环境适应性的矛盾，Mobile ALOHA系统的提出为双臂移动操作任务提供了低成本、高效率的解决方案。由斯坦福大学Zipeng Fu、Tony Z. Zhao与Chelsea Finn等人于2024年创建的lerobot/aloha_mobile_elevator数据集，专注于电梯场景下的双臂移动操作任务，通过20个演示片段、4.5万帧高帧率数据（50 FPS）及多视角视觉与关节状态记录，系统性地捕捉了机器人在受限空间内完成开门、进入及操作等复合动作的完整流程。该数据集依托LeRobot框架构建，为迁移学习与模仿学习研究提供了标准化基准，其开源特性（MIT协议）显著降低了移动操作研究的硬件门槛，推动了低成本双臂机器人在结构化环境中的行为学习研究。

当前挑战

当前数据集面临的核心挑战在于领域适应性与数据效率的平衡。在领域问题层面，电梯操作涉及动态环境感知（如门体状态、空间边界）、双臂协同控制（双臂14自由度关节的时序协调）及长时域任务规划（从接近到完成操作的连续性），现有模仿学习算法难以泛化至未观测的电梯型号或光照条件变化。构建过程中，数据采集依赖人工遥操作（Mobile ALOHA系统），20个演示片段的有限规模导致动作分布存在偏差，且高帧率（50 FPS）下多模态数据（三视角视频+14维状态/动作序列）的同步与标注质量控制面临挑战，例如关节角度的微小漂移可能被放大为无效示范。此外，数据集的单任务设定（电梯操作）限制了跨任务迁移能力，亟需扩展至更多结构化场景以验证算法的鲁棒性。

常用场景

经典使用场景

在移动双臂机器人研究领域，lerobot/aloha_mobile_elevator数据集为模仿学习与机器人操作控制提供了高保真的训练与评估平台。该数据集包含20个完整操作片段、45000帧序列及多视角高清视觉观测（cam_high、cam_left_wrist、cam_right_wrist），结合14维关节状态与动作空间，专门针对电梯按钮按压、门体开启等移动操作任务设计。其经典应用场景在于训练双臂协作策略，使机器人能够在动态环境中完成精确的物体交互与空间定位，尤其适用于需要移动基座与机械臂协同作业的复杂操作任务。

解决学术问题

该数据集系统性地解决了移动操作机器人领域中高质量多模态数据稀缺的核心难题。传统研究多局限于固定基座操作或单一视角感知，难以支撑移动双臂协同的泛化性研究。通过提供同步的视觉、关节状态与动作序列，数据集中可复现的电梯操作任务为模仿学习算法提供了基准测试环境，助力研究者攻克长时序动作依赖、跨视角特征融合及动态环境适应性等学术挑战。其发布显著推动了从实验室静态场景到真实移动操作场景的范式迁移，为机器人学中数据驱动方法的发展奠定了重要基础。

实际应用

实际应用中，该数据集赋能移动服务机器人在建筑设施内自主执行电梯乘坐、楼层切换等高难度任务。结合Mobile ALOHA平台的低成本全身遥操作技术，数据集训练出的策略可直接部署于养老陪护、物流运输及楼宇清洁等场景，使机器人能够安全可靠地操作电梯按钮、保持平衡并适应不同电梯型号的物理差异。这种从数据采集到策略迁移的闭环流程，大幅降低了移动操作系统的部署成本与风险，加速了机器人从实验室走向真实生活环境的产业化进程。

数据集最近研究

最新研究方向

在移动双臂操控领域，lerobot/aloha_mobile_elevator数据集聚焦于低成本全身遥操作与双臂协同移动操作的结合，代表了具身智能研究的前沿方向。该数据集基于Mobile ALOHA平台，通过高频率（50 FPS）的多视角视觉与14维关节状态动作数据，为学习复杂移动操作任务提供了关键支撑。当前研究热点集中在利用此类数据集训练端到端模仿学习模型，以实现机器人在真实场景中自主完成如电梯操作等非结构化任务，推动了人机协作与家庭服务机器人的实用化进程。其开源特性与标准化数据格式（LeRobot）显著降低了复现门槛，促进了跨团队协作与算法公平比较，对构建通用移动操作智能体具有里程碑意义。