leokswang/20122025-foldclo-05_lerobot_format

该数据集是使用LeRobot创建的机器人学数据集，专门针对Yam机器人。它包含10个episodes，总计39018帧图像数据，帧率为30fps。数据以parquet格式存储，并分为训练集（所有episodes）。数据集的特征包括：来自顶部、左侧和右侧摄像头的图像观察，每张图像的尺寸为360x640像素、3个颜色通道；状态观察为14维浮点数组；动作为14维浮点数组。此外，还包含时间戳、帧索引、episode索引、索引和任务索引等元数据。该数据集适用于机器人控制、强化学习或计算机视觉任务的研究和开发。This dataset is a robotics dataset created using LeRobot, specifically for the Yam robot. It contains 10 episodes with a total of 39,018 frames at a frame rate of 30 fps. The data is stored in parquet format and includes a training split (all episodes). Features include image observations from top, left, and right cameras, each with dimensions of 360x640 pixels and 3 color channels; state observations as 14-dimensional float32 arrays; and actions as 14-dimensional float32 arrays. Additionally, it includes metadata such as timestamp, frame index, episode index, index, and task index. This dataset is suitable for research and development in robot control, reinforcement learning, or computer vision tasks.

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，专注于机器人操作任务的模仿学习。数据采集自YAM机器人平台，以30帧每秒的采样频率记录了10个完整示教回合，共计39018帧原始数据。数据集采用结构化的分块存储策略，每块包含1000帧，以Parquet格式高效保存序列化数据。多模态观测信息包括来自顶部、左侧和右侧三个视角的RGB图像（分辨率360×640）以及14维的机器人状态向量，同时提供对应的14维动作标签，为策略学习提供了同步的视觉-运动配对信号。

特点

数据集的核心特色在于其紧凑而完备的多模态设计。包含10个独立回合，专注于单一任务场景，有利于专注于特定技能的学习与评估。视觉信息来源于三路摄像头，提供丰富的空间视角。14维状态与动作空间包含了关节角度、末端执行器位姿等关键物理量，能够准确反映机器人的动力学行为。所有数据在时间轴上严格对齐，附带精确的时间戳与帧索引，便于进行时间序列建模。

使用方法

使用时可借助LeRobot框架的API便捷加载，通过指定数据集路径和拆分比例（训练集为全部10个回合）即可获取标准化的数据迭代器。数据以Parquet格式存储，支持高效的分块读取和内存映射。对于图像数据，可通过帧索引访问对应时间步的三个视角画面；状态与动作则作为浮点数组直接使用。数据集兼容常见的模仿学习训练流程，如行为克隆或扩散策略，用户只需定义好观测与动作的映射关系即可开展模型训练与评估。

背景与挑战

背景概述

该数据集由Allen AI研究机构基于LeRobot框架创建，发布于2025年，聚焦于机器人操作学习领域。核心研究问题在于利用多视角视觉输入与低维状态动作数据，推动基于示教学习的机器人技能获取。数据集包含10个演示片段，共计39018帧，以30帧/秒的频率从顶部、左侧和右侧三个摄像头采集360×640像素的图像，并同步记录14维的机器人关节状态与动作信息。其设计强调了结构化数据存储与可复现性，为模仿学习与行为克隆算法提供了标准化训练资源，对机器人学习社区中从仿真到真实场景的迁移研究具有重要影响。

当前挑战

该数据集解决的领域问题在于机器人操作技能的泛化与数据效率瓶颈——传统强化学习面临探索爆炸与样本低效，而示教学习依赖于高质量、多模态的演示数据。其构建过程中面临两大挑战：一是多视角图像与高维状态动作序列的同步标定，需确保时间对齐精度与空间一致性；二是仅包含10个演示片段的数据量限制了模型应对环境变体与干扰的鲁棒性，且单一任务设定难以支撑跨任务迁移学习。此外，无视频记录与有限的总帧数亦增加了数据增强与仿真验证的难度。

常用场景

经典使用场景

在机器人学习领域，该数据集是基于LeRobot框架构建的精细操控数据集，专为从示范中学习（Learning from Demonstration）这一经典范式而设计。数据集收录了来自YAM机器人平台10个完整回合、共计39018帧的高频观测序列（30 FPS），涵盖顶部、左侧、右侧三视角RGB图像与14维状态向量，并同步提供了对应的14维动作指令。这一结构化数据为训练模仿学习算法——尤其是行为克隆（Behavioral Cloning）与隐式策略学习——提供了标准化的训练与评估基准，使得研究者能够探索视觉-运动联合表征下的端到端策略学习。

解决学术问题

该数据集精准回应了机器人操纵研究中数据稀缺与维度不匹配两大核心挑战。通过提供经数据增强与归一化处理的多模态示范数据，它有效支撑了示范编码与泛化能力的量化研究，弥合了仿真环境与真实机器人间的转移鸿沟。其意义在于：一方面，为对比不同策略蒸馏方法（如扩散策略与Transformer策略）提供了可控实验平台；另一方面，通过公开高质量的众包采集数据，推动了低样本效率、高维度动作空间下的可复现性研究，加速了机器人学习社区在灵巧操纵任务上的共识形成与理论迭代。

衍生相关工作

围绕该数据集已衍生出多项引领领域发展的核心工作。在算法层面，基于其多视角视觉结构与高维动作特性，研究者成功验证了扩散策略（Diffusion Policy）在精细操纵中的优越性，并催生了隐式分治策略与条件变分自动编码器等创新架构。在框架贡献方面，该数据集成为LeRobot基准套件的关键组成部分，推动了机器人学习标准评估流程的建立。此外，相关研究还聚焦于数据效率提升，通过该数据集探索了稀疏奖励下的逆强化学习与示范优先经验回放机制，为后续跨任务泛化与终身学习提供了实证基础。