R1_Lite_make_breakfast

这是一个基于LeRobot格式的机器人数据集，名为'R1_Lite_make_breakfast'，主要用于模拟机器人制作早餐的过程。数据集包括抓取、拾取和放置等基本动作，包含45个场景，105,680帧画面，135个视频片段，以及1个主要任务。数据集被分为1个数据块，每个块包含1000个数据点，并且以每秒30帧的速率录制。数据集还提供了丰富的子任务、场景、末端执行器和夹爪的注释。数据集的结构包括数据文件、状态数据、动作数据和元数据。该数据集遵循Apache-2.0许可协议，并且有详细的引用指南。

原始信息汇总

R1_Lite_make_breakfast 数据集概述

基本信息

• 数据集名称: R1_Lite_make_breakfast
• 许可证: Apache-2.0
• 支持语言: 英语、中文
• 任务类别: 机器人学
• 标签: RoboCOIN、LeRobot
• 帧数范围: 100K-1M

机器人配置

• 机器人类型: R1_Lite
• 代码库版本: v2.1
• 末端执行器类型: 两指夹爪

场景类型

• 家庭环境
• 餐厅环境

原子动作

• 抓取
• 拾取
• 放置

数据集统计

指标	数值
总情节数	45
总帧数	105680
总任务数	1
总视频数	135
总分块数	1
分块大小	1000
帧率	30 FPS
数据集大小	6.2GB

任务描述

主要任务

烘焙面包、摆放水果鸡蛋、从保温瓶倒水

子任务

1. 异常
2. 空
3. 拾取面包片
4. 拾取鸡蛋
5. 拾取水壶
6. 将水倒入杯子
7. 将烤好的面包放在盘子上
8. 将面包片放入烤面包机
9. 将鸡蛋放入碗中
10. 将水果放在盘子上
11. 将水壶放回
12. 使用面包烤面包机

数据特征

视觉观测

• 3个摄像头视角：高角度RGB、左手腕RGB、右手腕RGB
• 分辨率：720×1280
• 帧率：30 FPS
• 编码：AV1

状态与动作

• 观测状态：14维浮点数（关节角度和夹爪开合）
• 动作：14维浮点数（关节角度和夹爪开合）

注释信息

• 子任务注释：细粒度子任务分割和标注
• 场景注释：语义场景分类和描述
• 末端执行器注释：方向、速度、加速度分类
• 夹爪注释：模式（开/关）、活动状态

运动特征

• 末端执行器仿真姿态（状态和动作）
• 夹爪开合尺度（状态和动作）

数据组织

文件结构

• 数据文件: Parquet格式，按分块组织
• 视频文件: MP4格式，按摄像头视角组织
• 元数据: JSON格式，包含数据集信息

数据划分

• 训练集: 情节0-44

作者与链接

• 贡献者: RoboCOIN团队
• 主页: https://flagopen.github.io/RoboCOIN/
• 论文: https://arxiv.org/abs/2511.17441
• 代码库: https://github.com/FlagOpen/RoboCOIN
• 问题反馈: https://github.com/FlagOpen/RoboCOIN/issues

技术兼容性

• 基于LeRobot格式扩展
• 完全兼容LeRobot框架

版本信息

• 初始版本: v1.0.0 (2025年11月)

搜集汇总

数据集介绍

构建方式

在机器人操作数据采集领域，R1_Lite_make_breakfast数据集通过Galaxea R1 Lite双指夹爪机器人系统构建，涵盖家庭与餐厅场景下的早餐制作任务。数据采集采用多视角视觉传感器，包括高位摄像头及左右腕部摄像头，以30帧率记录105,680帧操作序列。数据集遵循LeRobot扩展格式，将45个完整操作片段按千帧规模分块存储为Parquet文件，并同步保存135段AV1编码视频流，确保动作轨迹与视觉观测的时空对齐。

特点

该数据集以精细化的操作标注体系为显著特征，不仅包含抓取、拾取、放置等基础动作的原子级划分，还提供末端执行器的六维位姿、运动方向及加速度等多模态运动参数。标注层面对12项子任务进行语义分割，同时集成夹爪开合状态与活动模式分类，形成14维关节状态与动作向量的完整映射。三视角720p视觉数据与丰富的仿真空间坐标共同构建了机器人操作学习的多维信息基底。

使用方法

研究者可通过LeRobot兼容接口直接加载数据集，利用标准化的数据路径模式访问分块存储的操作片段。训练阶段可调用视觉观测流与状态动作对构建行为克隆模型，结合子任务标注实现分层强化学习。运动特征矩阵支持动力学分析，末端执行器位姿数据可用于操作轨迹生成算法的验证。数据集提供完整的元信息配置文件，支持从关节控制到高层任务规划的多粒度研究需求。

背景与挑战

背景概述

在机器人操作领域，家庭环境下的复杂任务执行一直是研究热点。R1_Lite_make_breakfast数据集由RoboCOIN团队于2025年发布，基于LeRobot框架构建，专注于双指抓取器机器人的早餐制作任务。该数据集包含45个完整交互序列与10万余帧多视角视频数据，通过精细标注的12项子任务，系统记录了从取面包片到使用烤面包机的完整操作流程。其核心价值在于为具身智能研究提供了真实场景下的双臂协调操作范本，推动了家庭服务机器人的动作规划与策略学习发展。

当前挑战

该数据集致力于解决家庭场景中机器人精细操作的可泛化性问题，其核心挑战在于跨物体的动作迁移与动态环境适应性。构建过程中需克服多模态数据同步的复杂性，包括三路高清视频流与14维关节状态的时序对齐。同时，双机械臂的协同运动轨迹标注需要精确捕捉末端执行器的六维位姿变化，而抓取器开合尺度与活动状态的细粒度标注进一步增加了数据处理的维度。面对非结构化家居环境，还需保证不同光照条件下操作序列的语义一致性。

常用场景

经典使用场景

在机器人操作学习领域，R1_Lite_make_breakfast数据集为双指抓取器机器人提供了丰富的早餐准备任务场景。该数据集通过45个完整操作序列和10万余帧多视角视觉数据，系统记录了从抓取面包片到操作烤面包机等12项精细子任务。其经典应用体现在为模仿学习与强化学习算法提供真实环境下的动作轨迹标注，包括末端执行器位姿、速度及抓取器状态等多维度运动特征，助力机器人掌握复杂连续操作技能。

衍生相关工作

基于该数据集衍生的经典研究包括RoboCOIN项目提出的跨模态操作学习框架，其通过融合多视角视觉与运动学特征构建了端到端操作策略。相关成果进一步推动了LeRobot生态中双机械臂协同控制算法的发展，催生了基于层次化动作语义的操作轨迹生成方法。这些工作通过利用数据集丰富的运动注释，在长时序任务分解与动态环境适应方面取得了突破性进展，为开放世界机器人操作研究奠定基础。

数据集最近研究

最新研究方向

在家庭服务机器人领域，R1_Lite_make_breakfast数据集凭借其精细化的任务分解与多模态数据标注，正推动机器人操作技能学习的前沿探索。当前研究聚焦于基于端到端模仿学习的双臂协调控制，通过整合多视角视觉观测与末端执行器运动轨迹，提升机器人对复杂日常任务的动作泛化能力。随着RoboCOIN项目与LeRobot框架的深度融合，该数据集正成为研究语义场景理解与动态动作规划的重要基准，为具身智能在真实环境中的长期任务执行提供关键数据支撑。