rdoshi21/yam-mobile

这是一个使用LeRobot创建的机器人数据集，专门针对ARX机器人。数据集包含多个特征，如ARX手腕图像和顶部图像（分辨率分别为640x480和480x640，RGB三通道）、状态向量（10维浮点数）、动作向量（10维浮点数），以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据以parquet格式存储，视频以MP4格式存储，帧率为10 fps。数据集结构包括多个episode和chunks，但具体总episodes、frames、tasks和videos数量在提供的元数据中显示为0，可能表示数据集为空或未完全指定。该数据集适用于机器人学习任务，如动作控制和状态感知。This dataset was created using LeRobot and is specifically for the ARX robot. It includes features such as ARX wrist image and top image (with resolutions of 640x480 and 480x640, RGB three channels), state vectors (10-dimensional float32), action vectors (10-dimensional float32), and metadata like timestamp, frame index, episode index, index, and task index. The data is stored in parquet format, with videos in MP4 format at 10 fps. The dataset structure consists of multiple episodes and chunks, but the total episodes, frames, tasks, and videos are shown as 0 in the provided metadata, possibly indicating an empty or unspecified dataset. It is suitable for robotics learning tasks, such as action control and state perception.

搜集汇总

数据集介绍

构建方式

yam-mobile数据集基于LeRobot框架构建，专为机器人操作任务设计。其数据结构以Parquet格式存储，涵盖多种传感器模态，包括来自Arx机械臂的腕部与顶部摄像头图像、10维状态向量及动作向量。数据按片段（chunk）和回合（episode）组织，每个回合包含连续的帧序列，并附有时间戳、帧索引、回合索引等元信息。该数据集的构建遵循标准化机器人数据采集流程，确保多模态数据同步，并以高效的列式存储格式保存，便于大规模处理与复现。

特点

该数据集的核心特点在于其多模态融合能力，同时提供高分辨率视觉数据（640×480与480×640 RGB图像）与10维连续状态/动作空间。数据采集频率固定为10 FPS，且采用分块存储（每块1000个回合）机制，支持灵活的数据索引与加载。此外，数据集的Apache-2.0许可降低了使用门槛，允许在学术与工业场景中自由应用。其结构化元信息（如任务索引）为迁移学习与多任务训练提供了天然支持。

使用方法

使用时，可通过HuggingFace的LeRobot库直接加载，利用`lerobot`的`Dataset`类解析Parquet文件与关联视频。具体操作为指定`config_name='default'`，并调用`load_dataset`函数读取`data/*/*.parquet`路径下的数据。图像数据以NumPy数组形式返回，状态与动作向量可直接用于模仿学习或强化学习管线。建议以回合为单位进行批次处理，通过`episode_index`字段分离独立轨迹。详细API文档可参照LeRobot官方指南。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，数据驱动的策略学习对高质量、多样化的演示数据提出了迫切需求。在此背景下，yam-mobile数据集应运而生，它基于LeRobot框架（由Hugging Face等研究机构主导开发）构建，采用Apache-2.0许可证发布，旨在为移动操作机器人（如ARX系列）提供标准化的多模态训练数据。该数据集通过顶置与腕部双摄像头同步采集640×480和480×640分辨率的视觉图像，并记录包含10维状态与动作信息的位姿数据，支持片段级序列学习。作为融合视觉与运动控制的典范，yam-mobile为轮式机器人自主操作、人机协同等研究提供了可靠基准，其结构化格式推动了机器人学习社区的可复现性实验进程。

当前挑战

该数据集所面临的领域挑战源于移动机器人在非结构化环境下的操作难题，包括动态场景感知、多模态对齐（视觉-运动）及长时序行为泛化。传统固定基座机器人数据集难以应对移动站姿变化带来的视点漂移与动态干扰，而yam-mobile需通过双摄像头布局解决部分遮挡与视角切换问题。构建过程中，挑战集中在数据采集的保真度与规模平衡：手动遥操作收集高难度任务演示效率低下，自动生成数据又面临物理仿真到现实的迁移鸿沟；同时，10Hz的采集频率对高频动作的覆盖不足，而10维动作空间的高自由度在复杂操作中易引发轨迹不连续。此外，初始版本因缺少任务标注数量导致迁移学习受限，亟需扩充多样环境下的跨任务演示数据。

常用场景

经典使用场景

在机器人学习与操控领域，yam-mobile数据集凭借其高保真的多模态感知数据，成为训练机械臂精准操作与运动规划的经典资源。该数据集由Arx型机器人采集，包含双目视觉图像（腕部与顶部视角）以及10维的状态与动作序列，帧率为10Hz，特别适用于模仿学习与行为克隆任务。研究者可借此数据训练模型从人类示范中掌握抓取、放置、装配等复杂技能，实现机器人在非结构化环境中的自主作业能力。

解决学术问题

该数据集有效解决了机器人领域中长期存在的“数据稀缺”与“泛化瓶颈”问题。通过提供标准化、高频率的观察-动作配对样本，支撑了从示教数据中提取高级运动策略的学术探索，尤其在少样本学习与跨任务迁移方面展现出独特价值。其贡献在于为端到端机器人控制、逆强化学习及视觉运动耦合等研究方向奠定了可复现的实验基准，推动了具身智能从实验室场景向真实工业应用的过渡。

衍生相关工作

基于yam-mobile的数据结构，衍生出了多项经典工作，例如结合扩散策略的机器人技能生成方法、基于Transformer的时序行动预测模型，以及利用视觉-语言联合嵌入的零样本任务泛化框架。这些工作充分利用了其多视角图像与连续动作序列，验证了大规模示范数据对策略学习性能的增强作用。同时，该数据集也催生了针对状态表示学习与域随机化技术的改进研究，成为评测新一代机器人学习算法的重要基准。