leokswang/18122025-foldclo-06_lerobot_format

该数据集是一个机器人控制数据集，使用LeRobot工具创建，专门针对yam类型机器人。数据集包含1个任务和1个episode，总帧数为8564，帧率为30fps。数据以分块形式存储，每个块大小为1000帧。特征包括：顶部、左侧和右侧摄像头采集的360x640分辨率的三通道图像观测；14维浮点数的状态观测向量；14维浮点数的动作向量；以及时间戳、帧索引、episode索引、索引和任务索引等元数据。数据集主要用于机器人学习和控制任务，适用于训练和评估机器人行为模型。This dataset is a robotics control dataset created using the LeRobot tool, specifically for the yam type robot. It contains 1 task and 1 episode with a total of 8564 frames at a frame rate of 30fps. The data is stored in chunks with a size of 1000 frames per chunk. Features include: observations from top, left, and right cameras as 360x640 resolution three-channel images; a 14-dimensional float32 state observation vector; a 14-dimensional float32 action vector; and metadata such as timestamp, frame index, episode index, index, and task index. The dataset is primarily used for robotics learning and control tasks, suitable for training and evaluating robot behavior models.

搜集汇总

数据集介绍

构建方式

本数据集基于LeRobot框架构建，旨在为机器人学习领域提供标准化的示范数据。数据取自AllenAI实验室的18122025-foldclo-06实验场景，通过YAM型机器人平台采集，最终以Parquet格式存储。数据集包含单一任务下的共计8564帧时序数据与1个完整轨迹，采样帧率为30 FPS，并按训练集与验证集进行划分。观测空间涵盖三视角RGB图像（顶部、左侧、右侧，分辨率均为360×640）以及14维机器人状态向量，动作空间同样为14维连续数值，与状态空间相对应。所有数据被切割为chunk形式存储，便于高效加载与分布式处理。

特点

该数据集最大的特点在于其高度结构化的LeRobot格式规范，使得数据能够无缝对接当前主流的模仿学习与离线强化学习算法。数据不仅包含丰富的视觉与状态信息，还完整保留了时间戳、帧索引和任务索引等元数据，便于时间序列分析与多任务扩展。此外，数据集采用Apache 2.0许可协议发布，具备良好的开放性与可复现性，适用于机器人操作技能学习中的基准测试、模型预训练以及算法比较研究。

使用方法

使用时可直接通过LeRobot库加载，调用`from lerobot.common.datasets.lerobot_dataset import LeRobotDataset`并指定数据集名称或本地路径即可实例化。数据集中每个样本以字典形式返回，包含观测图像、状态向量、动作指令及时间戳等内容。推荐使用PyTorch DataLoader配合LeRobot提供的协作式采样器进行批量训练，同时支持动态视频或序列拼接。用户还可依据`meta/info.json`中的配置灵活调整数据加载方式，兼容单任务或跨任务训练场景。

背景与挑战

背景概述

在机器人学习领域，高质量、标准化的数据集是推动具身智能从仿真走向真实应用的关键基石。由Allen AI等机构于2025年构建的18122025-foldclo-06_lerobot_format数据集，基于LeRobot框架生成，旨在为多模态机器人操作学习提供统一的数据接口。该数据集聚焦于YAM型机器人平台的单一任务，记录了8564帧图像（含顶视、左、右三视角）、14维状态向量与对应动作序列，为研究视觉-运动耦合下的机器人模仿学习提供了精细化的原始素材。尽管数据集规模较小，但其采用Apache-2.0许可、遵循Parquet格式存储，显著降低了多源异构机器人数据整合的壁垒，对推动开源机器人数据生态的标准化进程具有示范意义。

当前挑战

该数据集所面临的核心挑战包括：其一，在领域问题层面，机器人长程任务中的状态-动作轨迹分布偏移问题依然突出，单Episode数据难以覆盖环境变化、物体位姿扰动等真实场景中的泛化需求，导致基于小规模静态数据的模仿学习模型易出现策略劣化。其二，在构建过程中，多视角图像（360×640）与14维连续动作空间的同步采集精度对硬件校准和时序对齐提出严苛要求，而当前数据集仅含1个Episode，缺少多任务、多轮次的重叠采信，限制了其在噪声鲁棒性评估和复杂技能解耦研究中的适用性。

常用场景

经典使用场景

该数据集基于LeRobot框架构建，聚焦于机器人操作领域的模仿学习研究。以YAM机器人为载体，采集了包含多视角视觉图像（顶部、左侧、右侧）、关节状态和动作序列的高保真数据，共计8564帧、单条完整轨迹。最经典的使用场景是作为端到端模仿学习的训练与基准测试数据，研究者可借助多模态观测信息与动作标签，训练机器人从状态到动作的映射策略，实现复杂操作任务的复现与泛化。

解决学术问题

该数据集致力于解决机器人技能获取中数据稀缺与泛化性不足的学术难题。通过提供高频率（30 FPS）、多维度（视觉+状态）的精细化数据，支撑了从人类演示中学习行为策略的核心范式。其意义在于降低了机器人策略学习的标注成本，为研究视觉-运动耦合、跨视角特征融合以及小样本模仿学习提供了标准化评估基准，推动了机器人学习领域从规则驱动向数据驱动的范式转变。

衍生相关工作

基于该类格式的数据集，学术界衍生了一系列代表性工作。LeRobot框架本身即推动了机器人学习数据的标准化与可复现性，相关研究如基于扩散策略的机器人动作生成、多任务元学习算法等均采用此类数据进行验证。此外，针对多视角图像的特征对齐与动作预测的Transformer模型、基于状态-动作对的逆强化学习算法也依托此类数据集取得了突破，进一步拓展了从示范中学习的理论边界与算法性能。