leokswang/22122025-foldclo-06_lerobot_format

该数据集是使用LeRobot工具创建的机器人学习数据集，专门用于Yam机器人。数据集包含10个训练集，总计16817帧，帧率为30fps。数据以Parquet文件格式存储，每个文件包含多视角图像观测（顶部、左侧、右侧摄像头，分辨率为360x640，3通道）、机器人状态观测（14维浮点数组）、动作（14维浮点数组）以及时间戳、帧索引、集索引、索引和任务索引等元数据。数据集没有视频文件，仅包含结构化数据，适用于机器人控制、强化学习或模仿学习任务。数据分割为训练集，覆盖所有10个集。This dataset is a robotics learning dataset created using the LeRobot tool, specifically for the Yam robot. It contains 10 training episodes with a total of 16817 frames at 30fps. The data is stored in Parquet format, each file including multi-view image observations (top, left, right camera views at 360x640 resolution, 3 channels), robot state observations (14-dimensional float32 array), actions (14-dimensional float32 array), and metadata such as timestamp, frame index, episode index, index, and task index. The dataset does not include video files, only structured data, making it suitable for robotics control, reinforcement learning, or imitation learning tasks. The data is split into a training set covering all 10 episodes.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，源自Allen AI实验室的机器人遥操作数据采集流程。数据以parquet格式存储于'data/'目录下，遵循'chunk-{episode_chunk}/episode_{episode_index}.parquet'的层级结构。共包含10个完整轨迹片段，总计16817帧，帧率为30 FPS。数据采集频率与动作采样率一致，确保时序对齐。每个样本包含来自顶部、左侧和右侧三个视角的360×640像素RGB图像，以及维度为14的机器人关节状态向量与对应的14维动作指令。时间戳、帧索引、任务索引等元信息被同步记录，为后续的策略学习提供了结构化的监督信号。

使用方法

用户可通过LeRobot库直接加载该数据集，利用其内置的数据加载器实现流式读取或随机采样。推荐将全部10个episode作为训练集使用（splits中'train'覆盖0-9索引）。使用时需指定配置文件为'default'，并启用图像解码功能以获取RGB张量。数据集支持按episode索引或帧索引进行切片操作，适合构建时间连续的序列样本。由于未包含视频文件，所有图像数据均从parquet的二进制字段中恢复。研究者可将其作为标准benchmark，用于验证面向多视角输入的机器人控制策略性能。

背景与挑战

背景概述

该数据集由LeRobot社区基于YAM机器人平台采集，于2025年初发布，旨在为机器人操作学习提供高质量的多模态示教数据。数据集包含10个演示片段，总计16817帧，以30帧/秒的频率记录，涵盖单一任务，并集成了顶部、左侧、右侧三个视角的视觉图像（360×640像素）以及14维的状态与动作信息。作为开放机器人学习生态的一部分，该数据集遵循Apache-2.0许可协议，为模仿学习和强化学习研究提供了标准化、可复现的基准资源，尤其推动了低成本机械臂在精细操作任务中的算法验证与能力迁移。

当前挑战

该数据集解决了机器人领域中长期存在的两大挑战：一是如何从少量示教中高效泛化至新场景，数据仅含10个演示片段，迫使算法在稀疏数据下学习鲁棒策略；二是多模态感知与动作耦合的复杂性，需同时处理高维视觉输入和连续动作空间。构建过程中的挑战包括：确保跨视角图像的时间对齐与空间一致性，在低帧率（30 FPS）下捕获高速操作动态，以及设计统一的14维状态-动作表示以兼容不同机器人构型。此外，数据采集依赖人工遥操作，其一致性和可重复性也构成实际瓶颈。

常用场景

经典使用场景

在机器人学习领域，该数据集以LeRobot格式存储，专为模仿学习和行为克隆等经典范式的训练与评估而设计。其包含来自YAM机器人平台的10个完整演示轨迹，每帧以30Hz频率记录了三视角高清视觉图像（顶部、左侧、右侧）、14维机器人状态向量和对应的动作指令。数据集结构严谨，将16817帧数据划分为训练集，非常适合用于训练端到端的机器人操控策略。研究者可将多模态观测序列作为输入，利用该数据集监督学习从感知到动作的映射，从而复现演示中的精细操作技能。

解决学术问题

该数据集有效回应了机器人领域中数据稀缺与标准化不足的痛点。传统机器人策略学习常受限于昂贵的真实环境数据采集成本，而该数据集通过标准化LeRobot格式和完整的传感器-动作记录，为迁移学习、领域随机化及多任务泛化研究提供了可控的基准。学者可借此探究跨视角视觉特征融合、低维状态空间建模对策略鲁棒性的影响，并系统分析数据规模与演示质量在模仿学习中的关键作用，推动更高效、更通用的机器人技能获取理论构建。

实际应用

在实际应用中，该数据集支撑着智能机器人从仿真走向真实部署的转化。基于其上训练的操控策略可直接迁移至配备同款传感器的YAM机器人平台，应用于精密装配、物体抓取与整理等场景。工程师可利用数据集验证视觉-运动控制算法的实时性，并通过数据集提供的标准化接口快速迭代策略，降低原型开发周期。此外，数据集的多视角图像设定为远程操作系统的构建提供了预训练数据，助力机器人服务于医疗辅助、物流分拣等对操作安全性要求苛刻的工业领域。

数据集最近研究

最新研究方向

该数据集聚焦于机器人操作技能的模仿学习研究，采用LeRobot格式存储多视角图像与状态-动作序列，为端到端的行为克隆算法提供了标准化数据支撑。在具身智能浪潮中，YAM机器人平台上的10个演示片段（逾1.6万帧）可用于训练小样本泛化策略，探索从人类示范中提取通用操作先验。其多模态特征设计（360p三视图+14维状态与动作标注）契合了视觉-运动联合建模的前沿需求，有望推动低成本机器人数据采集范式的革新，加速家用服务机器人的实证研究进展。