rdoshi21/yam-mobile2

该数据集由LeRobot项目创建，包含机器人操作相关的数据，涉及多种数据类型，如图像、状态、动作等。数据集包含26个episodes，总计13754帧，帧率为10fps。数据特征包括手腕和顶部摄像头拍摄的图像（分辨率分别为640x480和480x640）、10维的状态和动作向量，以及时间戳、帧索引、episode索引等元数据。

This dataset was created by the LeRobot project and contains data related to robot operations, involving various data types such as images, states, and actions. The dataset includes 26 episodes, totaling 13754 frames at 10fps. Features include images from wrist and top cameras (with resolutions of 640x480 and 480x640 respectively), 10-dimensional state and action vectors, as well as metadata such as timestamps, frame indices, and episode indices.

搜集汇总

数据集介绍

构建方式

yam-mobile2数据集基于LeRobot框架构建，聚焦机器人操作任务，通过移动机械臂平台采集多模态数据。数据采集过程采用ARX机器人系统，以10帧/秒的采样频率记录操作轨迹，共包含26个完整演示片段，累积帧数达13754帧，构成单任务场景下的结构化数据集。数据以Parquet格式高效存储，每个片段独立编码为chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet文件，便于分布式处理与增量扩展。

特点

该数据集核心特征在于融合多维感知与动作信息：配备腕部（640×480）与顶部（480×640）双视角RGB摄像头，提供空间感知互补的图像数据；状态与动作空间均为10维实数向量，精确记录机械臂关节配置与决策指令。数据集通过统一的索引、时间戳和片段标识符实现时序对齐，支持灵活的序列建模。尽管仅含单一任务，但26条高质量演示为模仿学习算法提供了基准训练资源。

使用方法

用户可通过LeRobot库的API直接加载数据集，利用`lerobot.dataset.LeRobotDataset`接口读取Parquet文件中的图像、状态与动作序列。数据集默认划分训练集（全部26个片段），适合用于行为克隆（BC）等离线强化学习任务。由于包含预定义的帧索引和片段编号，研究者可方便地构建滑动窗口采样或时间序列批处理，配合PyTorch或TensorFlow框架进行模型训练与评估。

背景与挑战

背景概述

该数据集创建于2024年前后，基于LeRobot框架构建，专注于机器人操作领域，由Hugging Face社区及相关研究机构推动。其核心研究问题在于通过采集真实机械臂的视觉与状态数据，推动机器人学习中的模仿学习与迁移学习发展。数据集记录了ARX型机器人执行单任务时的26个完整回合，包含约1.4万帧图像与对应动作序列，为研究从视觉输入到运动控制的端到端映射提供了标准化样本。作为开源资源，它填补了低成本机械臂在精细操作任务中数据稀缺的空白，促进了机器人学习领域的可复现研究。

当前挑战

当前数据集面临的核心挑战包括：领域层面上，机器人操作任务的环境多样性及动作泛化性不足，单任务26个回合的有限样本难以覆盖复杂场景下的状态分布，限制了模型在未知物体或扰动下的鲁棒性。构建过程中，低成本ARX机械臂的传感器精度与动作重复性存在局限，导致动作与状态标注噪声较大；同时，数据采集的协同工作流程缺乏自动化，人工干预与同步校准的误差进一步增加了数据预处理与清洗的难度。

常用场景

经典使用场景

在机器人学习领域，yam-mobile2数据集是一个专门针对双臂移动操作机器人Arx采集的精细操控数据资源。该数据集包含26个完整演示片段，共13754帧图像与状态动作序列，以10Hz频率同步记录了来自腕部和顶部的双视角视觉信息，以及10维的机器人关节状态与动作指令。经典使用方式是利用这些多模态数据训练模仿学习模型，如行为克隆或扩散策略，使机器人能够从专家演示中习得高精度的操作技能，特别是针对移动平台上的双臂协调任务。

解决学术问题

该数据集为学术研究提供了稀缺的移动双臂机器人操控基准，解决了当前机器人学习领域缺乏高质量、多视角、多模态移动操作数据的困境。借助yam-mobile2，研究者可以聚焦于跨视角特征融合、状态-动作空间映射以及长时域策略泛化等核心课题。其深远意义在于推动具身智能研究从固定基座操作迈向动态环境中的移动抓取与操纵，为构建更通用的机器人行为学习范式奠定了数据基础。

衍生相关工作

围绕yam-mobile2数据集，后续工作可延伸出多种经典研究方向。例如，基于其双视角图像设计跨视角注意力机制的策略网络，或结合隐式动作表示提升策略的平滑性与鲁棒性。该数据集的公开格式与LeRobot框架兼容，也促进了数据增广、迁移学习以及多任务联合训练等方法的涌现。未来有望催生一系列专注于移动双臂操作的行为基线模型，如同步扩散策略与奖励导向的逆强化学习变体。