fecasado/burger-to-plate

该数据集是一个机器人任务数据集，使用LeRobot工具创建，专门用于机器人学习和控制任务。数据集包含93个episodes，总计137,976帧，采样频率为15 FPS。数据来源于blueberry_ros机器人类型，涉及单一任务。数据集结构包括动作特征（26维浮点向量，涵盖左右手臂的线性和角速度、手指关节控制等）、观测状态特征（55维浮点向量，包括左右手臂和手指关节的位置和力矩，以及视线坐标）、多视角图像观测（左、右、用户和用户视线视角的视频，分辨率480x640，3通道RGB，AV1编码），以及时间戳、帧索引等元数据。所有数据以Parquet格式存储，总数据文件大小为100 MB，视频文件大小为200 MB。数据集仅包含训练集（splits: train），适用于机器人模仿学习或强化学习研究。This dataset is a robotics task dataset created using the LeRobot tool, specifically designed for robot learning and control tasks. It contains 93 episodes with a total of 137,976 frames, sampled at 15 FPS. The data originates from the blueberry_ros robot type and involves a single task. The dataset structure includes action features (a 26-dimensional float32 vector covering linear and angular velocities of left and right arms, finger joint controls, etc.), observation state features (a 55-dimensional float32 vector including positions and efforts of left and right arm and finger joints, as well as gaze coordinates), multi-view image observations (videos from left, right, user, and user gaze perspectives with 480x640 resolution, 3 RGB channels, AV1 encoding), and metadata such as timestamp and frame index. All data is stored in Parquet format, with a total data file size of 100 MB and video file size of 200 MB. The dataset includes only a training set (splits: train) and is suitable for research in robot imitation learning or reinforcement learning.

搜集汇总

数据集介绍

构建方式

在机器人操作研究领域，针对精细操作任务的数据集构建是推动模仿学习发展的关键一环。该数据集基于LeRobot框架，利用blueberry_ros机器人平台，通过遥操作方式采集了110个完整操作回合，共计158,635帧数据，涵盖将汉堡从起始位置放置至盘中的单一操作任务。数据以Parquet格式存储，并辅以AV1编码的同步视频记录，确保数值与视觉信息的高效整合。

特点

该数据集呈现出多维度的细腻特征。其动作空间包含26维向量，覆盖双臂线性与角速度、五指关节运动及底盘控制指令，状态空间则扩展至55维，囊括关节位置与力矩信息，并融入眼动追踪数据。四路摄像头（左侧、右侧、用户视角及视线叠加）以15帧/秒采集640×480分辨率的彩色图像，为理解操作意图提供了丰富线索。数据集遵循Apache-2.0开源协议，便于学术研究与技术复现。

使用方法

使用该数据集时，可借助LeRobot库提供的标准化接口进行加载与处理。研究者通过定义数据路径，即可便捷地访问经过分块存储的Parquet文件与同步视频流。数据已预设训练集划分（前110个回合），支持直接输入至模仿学习模型中进行策略学习。建议结合其完整的状态与观测特征，开展基于视觉与运动融合的机器人操作行为建模研究。

背景与挑战

背景概述

随着机器人操作领域的快速发展，模仿学习作为一项关键技术，旨在通过观察人类演示来赋予机器人执行复杂任务的技能。在此背景下，burger-to-plate数据集应运而生，由研究者在LeRobot框架下创建，专注于机器人抓取与操作任务。该数据集包含110个演示片段，共计约15.8万帧，记录了将汉堡从起始位置移动至餐盘的精细动作过程，涉及双臂协调、手部抓取以及移动底盘控制等全方位操作。其核心研究问题在于如何通过多模态感知数据，包括左右相机视图、用户视角及眼动追踪信息，结合高维度的机器人与环境状态，实现稳健的模仿学习。该数据集为机器人操作领域提供了一个标准化的基准，推动了从单纯的状态空间学习向结合视觉与生理信号的更复杂学习范式演进，对后续研究在数据驱动的机器人技能获取方面具有基础性影响。

当前挑战

该数据集所解决的领域问题集中在机器人精细操作任务的模仿学习，其核心挑战在于如何从有限的演示数据中泛化出适应不同初始条件的操作策略，尤其是在高自由度、双臂及底盘协同的复杂动作空间中。具体而言，机器人需处理高达26维的动作输出与55维的状态输入，涵盖关节位置、力矩、手部姿态及视线坐标等异构信息，这对模型的学习能力与数据效率提出严苛要求。在数据集构建过程中，面临的挑战包括确保演示动作的一致性与质量，同步多相机视频流、眼动追踪信号与机器人本体数据，以及处理因传感器差异和操作环境变化导致的数据噪声。此外，仅覆盖单一任务的110个演示片段在规模上有限，如何在此基础上实现样本高效且泛化能力强的模仿学习，仍是该领域持续探索的难题。

常用场景

经典使用场景

在机器人学习与操作领域，burger-to-plate数据集以其精细的双臂协同操控任务而著称。该数据集记录了将汉堡从起始位置平稳转移至盘中的完整过程，涉及双臂线性与旋转运动、多指手部灵巧抓取以及移动基座控制。研究者常利用此数据集训练模仿学习或强化学习模型，通过高维状态空间（55维关节位置与力矩）和四路视觉输入（左右手、用户视角及眼动追踪）实现复杂餐具操作任务的端到端策略学习。数据集包含110个示范片段，以15帧/秒的速率采集，为双臂协调与精细操作的研究提供了标准化的基准平台。

实际应用

在真实世界的应用层面，burger-to-plate数据集直接服务于餐饮自动化与家政服务机器人的技能迁移。基于该数据集训练的模型，可以部署于商用厨房中的机器人助理，自主完成汉堡、三明治等快餐食品的装配与摆盘工作。数据集中的眼动追踪信号('gaze.x', 'gaze.y')可被用于开发注意力引导的交互控制算法，使机器人能预判操作目标。此外，双臂协同的数据特征使其适用于物流分拣、医疗辅助供餐等需要精细双手机器人协作的场景，显著降低了重复性劳动的人力成本与卫生风险。

衍生相关工作

该数据集催生了一系列关于双臂操作与模仿学习的延伸研究。以LeRobot生态为基础，研究者开发了多种数据增强策略以应对有限样本挑战，例如将视觉观测中的手部区域进行几何变换以提升泛化性。在算法层面，衍生工作探索了基于关键点检测的注意力机制，利用用户视角与眼动热力图来稀疏化决策空间。部分工作将动作原始空间从26维下降到子运动基元，通过概率图模型重构操作过程。此外，该数据集已被用于验证跨具身形态的迁移学习范式，检验从'blueberry_ros'平台学到的策略是否能零样本迁移至其他双手机器人构型。