lerobot/aloha_mobile_cabinet

该数据集包含多种类型的视频帧数据，包括高分辨率摄像头、左手腕摄像头和右手腕摄像头的视频帧。此外，数据集还包含状态序列、动作序列、时间戳等信息。每个特征都有明确的类型和长度说明，例如状态序列是一个长度为14的float32序列。数据集分为训练集，包含127,500个示例，总大小为49,995,938字节。

This dataset includes various types of video frame data, such as high-resolution camera, left wrist camera, and right wrist camera video frames. Additionally, the dataset contains state sequences, action sequences, timestamps, and other information. Each feature has a clear type and length specification, for example, the state sequence is a float32 sequence with a length of 14. The dataset is divided into a training set, containing 127,500 examples, with a total size of 49,995,938 bytes.

原始信息汇总

数据集概述

数据集特征

• observation.images.cam_high: 视频帧
• observation.images.cam_left_wrist: 视频帧
• observation.images.cam_right_wrist: 视频帧
• observation.state: 序列，数据类型为float32，长度为14
• observation.effort: 序列，数据类型为float32，长度为14
• action: 序列，数据类型为float32，长度为14
• episode_index: 整数，数据类型为int64
• frame_index: 整数，数据类型为int64
• timestamp: 浮点数，数据类型为float32
• next.done: 布尔值
• index: 整数，数据类型为int64

数据集分割

• train:
  • 数据量: 49995938字节
  • 示例数量: 127500

数据集大小

• 下载大小: 14452692字节
• 数据集大小: 49995938字节

配置

• config_name: default
• data_files:
  • split: train
  • path: data/train-*

搜集汇总

数据集介绍

构建方式

在机器人操作领域，高质量的数据集是推动模仿学习与行为克隆算法发展的基石。lerobot/aloha_mobile_cabinet数据集依托LeRobot框架构建，专注于移动机械臂在柜体操作场景中的任务。该数据集共收录85个演示回合，总计127,500帧数据，采样频率为50赫兹。数据以Parquet格式存储，并辅以AV1编码的高清视频，涵盖顶部摄像头及左右腕部摄像头三种视觉模态。每个样本包含14维的关节状态、力矩及动作指令，完整记录了机器人双臂的关节角度与夹爪开合信息，为细粒度动作建模提供了结构化支持。

特点

该数据集的核心特点在于其多模态、高频率的同步采集体系。视觉方面，三路640×480像素的摄像头分别从全局与局部视角捕获场景动态，视频流以50帧/秒的速率编码，确保时间分辨率与动作执行的一致性。状态与动作空间均为14维，精确映射了左右双臂各七个自由度（包括腰部、肩部、肘部、前臂旋转、腕部角度、腕部旋转及夹爪），这一设计使得数据集能够支持从姿态估计到力矩预测的广泛研究。此外，数据按回合与帧索引组织，并明确划分训练集（全部85回合），便于端到端的学习流程。

使用方法

使用者可通过LeRobot库便捷加载该数据集。首先，安装LeRobot并调用其数据加载接口，指定数据集名称'lerobot/aloha_mobile_cabinet'即可自动下载。加载后，数据以字典形式呈现，包含'observation.images'（视频帧）、'observation.state'（关节状态）、'observation.effort'（力矩）和'action'（动作）等关键字段。每个回合由连续的帧序列构成，可通过'episode_index'索引遍历。建议用户利用其内置的'chunks_size'参数（此处为1000帧）进行批处理，以适配模仿学习中的行为克隆或扩散策略训练范式。

背景与挑战

背景概述

在机器人学习领域，模仿学习作为一种高效的行为克隆范式，正逐步推动机器人从实验室走向真实应用场景。lerobot/aloha_mobile_cabinet数据集由LeRobot社区基于ALOHAMobile机器人平台构建，旨在解决移动操作任务中的精细控制问题。该数据集于2023年通过HuggingFace平台发布，汇聚了85个演示回合、总计127500帧的高频（50FPS）观测数据，涵盖三视角视觉流（高视角及左右腕部相机）与14维关节状态及力矩信息。其核心研究问题聚焦于如何利用多模态感知与动作序列，使机器人完成柜体开闭等结构化操作任务。作为LeRobot生态中的标杆数据集，它为移动操作领域的策略泛化、跨场景迁移研究提供了标准化基准，显著推动了模仿学习在非结构化环境中的实证进展。

当前挑战

该数据集面临的核心挑战体现在两个层面。在领域问题层面，移动操作任务要求机器人同时协调基座移动与机械臂精细操控，现有模仿学习算法常因动作状态空间的高维耦合性而难以泛化至新场景，例如柜体材质差异或光照变化会导致视觉特征偏移，进而影响策略鲁棒性。在构建过程层面，数据集采集依托遥操作示教，操作者需同步控制移动基座与双臂，这引入了人为延迟与动作不一致性；此外，85个回合的样本规模虽覆盖单一任务，却难以支撑数据驱动方法对多样性的需求，且视频压缩编码（AV1）与50FPS的高采样率可能引入时序失真，进一步加剧了模型对噪声敏感的风险。

常用场景

经典使用场景

在机器人操作与模仿学习领域，lerobot/aloha_mobile_cabinet数据集为双机械臂协同控制任务提供了高保真的训练与评估基准。该数据集基于ALOHA移动平台采集，包含85个完整操作回合、共计127,500帧的高频（50 FPS）观测数据，涵盖顶部与左右腕部三个视角的RGB视频、14维关节状态与力矩信息，以及对应的动作指令。其经典使用场景聚焦于学习从多模态感知到精细操作的端到端映射，例如开柜门、取放物品等日常家务操作。研究者可借助该数据集训练基于视觉的运动策略，验证模型在复杂接触环境中的泛化能力与鲁棒性。

实际应用

在实际应用层面，该数据集直接服务于家庭服务机器人、仓储物流及医疗辅助等场景。例如，机器人可基于数据集习得的开柜策略，在家庭环境中自主完成收纳整理任务；在工业场景中，双臂移动机器人可借鉴其协同控制模式，实现大型物料的搬运与装配。此外，数据集中的高频力矩信息为力控策略的部署提供了基础，使得机器人能在与人共融的柔性环境中安全作业，加速了从实验室原型到商业化产品的转化进程。

衍生相关工作

该数据集衍生了一系列具有影响力的研究工作，尤其在模仿学习与行为克隆领域。例如，基于该数据集的ACT（Action Chunking with Transformers）算法展示了如何通过时序动作分块提升长程任务的成功率；同时，扩散策略（Diffusion Policy）在该数据集上的成功应用，验证了生成式模型在机器人策略学习中的潜力。此外，有工作利用其多视角视频数据构建了跨视角表征学习框架，显著提升了策略的视觉泛化性能。这些经典工作共同推动了机器人学习领域从简单任务向复杂、多步骤操作的演进。