unitreerobotics/G1_ToastedBread_Dataset

这是一个关于机器人操作的数据集，使用LeRobot工具创建。数据集的任务目标分为两部分：第一部分是将面包从托盘放入烤面包机中，第二部分是在面包烤好后，将面包递给人类。数据集包含的操作对象有面包和烤面包机。每个操作大约需要20到40秒。数据以30Hz的频率记录。机器人类型为7自由度的双臂G1机器人，末端执行器为三指灵巧手，支持双臂操作。图像分辨率为640x480，摄像头位置包括手腕安装的单目摄像头和头部安装的双目摄像头。数据内容包括机器人的当前状态，机器人的下一个动作，当前摄像头视角的图像等。数据集的元信息文件提供了详细的格式和内容描述。This is a robotics dataset created using LeRobot. The task objectives of the dataset are divided into two parts: the first part is to place bread from a tray into a toaster, and the second part is to hand the toasted bread to a human. The operational objects in the dataset include bread and a toaster. Each operation takes approximately 20 to 40 seconds. The data is recorded at a frequency of 30Hz. The robot type is a 7-DOF dual-arm G1 robot with a three-fingered dexterous hand as the end effector, supporting dual-arm operations. The image resolution is 640x480, and the camera positions include a monocular camera mounted on the wrist and binocular cameras mounted on the head. The dataset contains the robots current state, the robots next action, the current camera view images, and more. The metadata file of the dataset provides a detailed description of the format and content.

搜集汇总

数据集介绍

构建方式

在机器人操作领域，精细化的数据采集是驱动技能学习的关键基石。该数据集依托LeRobot框架构建，旨在记录双臂机器人完成面包烤制与递送任务的全过程。数据采集频率为30赫兹，每次操作持续20至40秒，共收录418个操作片段，总帧数达352022帧。采集设备采用7自由度双臂G1机器人，末端配备三指灵巧手，通过腕部单目相机与头部双目相机同步获取640×480分辨率的视觉信息。数据内容涵盖机器人当前状态、下一动作指令及实时图像，并以Parquet格式存储结构化状态与动作序列，视频流则以AV1编码的MP4文件形式保存，确保高保真度的时序信息得以完整保留。

使用方法

研究者可通过LeRobot库便捷地加载与使用该数据集。数据集已预设训练集划分（索引0至418），并提供了标准化的特征接口，包括观测状态（observation.state）、动作（action）及多视角图像（observation.images）。使用时需注意，加载前应依据AVP遥操作文档第五部分完成硬件安装，并调整场景至与数据集首帧状态一致。模型训练中，建议充分考虑片段间的操作变异性，避免因固定场景假设导致泛化失败。数据集的Parquet与视频文件按分块组织，支持高效流式读取，适用于基于行为克隆或扩散策略的机器人操作技能学习方法。

背景与挑战

背景概述

在机器人操作领域，模仿学习依赖于高质量、多模态的示范数据来驱动技能习得。unitreerobotics/G1_ToastedBread_Dataset由宇树科技研究团队构建，聚焦于双机械臂在复杂厨房场景中的精细操作能力。该数据集以7自由度双臂G1机器人为载体，配备三指灵巧手和多视角视觉系统，记录了从面包放置到吐司递送的全流程任务，单次操作持续20至40秒，以30赫兹频率采集了418个回合共352022帧数据。研究核心在于解决非结构化环境中双臂协调与灵巧操作的模仿学习问题，为机器人从感知到执行的端到端建模提供了标准化基准。该数据集依托开源框架LeRobot发布，采用Apache-2.0许可，其高分辨率视觉与关节状态信息的同步记录，为后续机器人自主操作研究奠定了数据基础。

当前挑战

该数据集面临的核心挑战源于精细操作任务的固有复杂性。首先，双臂协调与灵巧手控制要求模型同时处理28维动作空间与多视角视觉反馈，在面包放置、烘烤时机判断及递送姿态调整等环节中，任何时序偏差都可能导致任务失败。其次，数据构建过程存在显著困难：由于无法精确描述空间位置，场景布置需严格对齐数据集首帧状态，但硬件安装差异与多批次采集间的环境变动造成数据分布不一致，要求训练算法具备跨场景泛化能力。此外，灵巧手的三指协同控制对力位混合操作的建模精度提出极高要求，而当前数据仅记录运动学状态，缺乏触觉与力矩信息，限制了模型对脆性物体（如烤面包）的柔顺操作学习。

常用场景

经典使用场景

该数据集旨在为双臂人形机器人提供精细操作任务的训练与评估基准，经典使用场景聚焦于“面包放置与取回”这一闭环操作流程。具体而言，机器人需先使用灵巧手将面包从托盘精准抓取并放入烤面包机，待烘烤完成后，再将烤好的面包取出并递交给人类。这一任务涵盖了物体抓取、空间定位、时序协调及人机交互等多个核心环节，为研究双臂协同、灵巧操作及动态环境适应能力提供了标准化的测试平台。

解决学术问题

该数据集解决了人形机器人在非结构化环境中执行长时序、多步骤操作任务时面临的学术难题，包括双臂协调控制、灵巧手精细抓取策略、视觉反馈闭环以及任务级动作规划。通过提供高频率（30Hz）的多视角视觉数据与28维关节状态及动作序列，研究者得以探索基于模仿学习或强化学习的端到端操作模型，推动了机器人从单一抓取向复杂任务链泛化的理论进展，并为人机协作的安全性评估提供了数据支撑。

实际应用

在实际应用中，该数据集直接服务于家用服务机器人场景，例如厨房中的食物准备与递送任务。机器人通过学习该数据集中的操作模式，能够自主完成从托盘取面包、放入烤面包机、等待烘烤、再到取回并递给用户的完整流程，显著降低人类在重复性家务中的参与度。此外，数据集中包含的腕部与头部多视角图像，有助于提升机器人在复杂光照与遮挡条件下的视觉感知鲁棒性，为未来家庭辅助机器人的商业化部署积累了关键经验。

数据集最近研究

最新研究方向

基于unitreerobotics/G1_ToastedBread_Dataset，当前前沿研究方向聚焦于利用双臂人形机器人（如Unitree G1）在复杂家庭场景中执行精细操作任务的模仿学习与行为克隆技术。该数据集记录了从放置面包到递送烤面包的完整流程，包含418个高质量演示片段，涵盖七自由度双臂与三指灵巧手的协同运动、多视角视觉观测（腕部单目与头部双目相机）以及30Hz高频状态-动作对。研究热点在于结合LeRobot框架的端到端策略训练，探索如何从多模态数据中泛化出鲁棒的动态操作技能，尤其关注非结构化环境下的物体重定位与柔顺交互。该数据集为机器人学习领域提供了稀缺的双臂连续任务基准，对推动家用服务机器人的自主性与安全性具有里程碑意义，其开源特性（Apache-2.0许可）更促进了跨机构协作与算法复现。