G1_Dex3_ToastedBread_Dataset

该数据集使用LeRobot创建，专注于机器人学任务，任务目标分为两部分：第一部分将面包从服务托盘放入烤面包机；第二部分在面包烤好后，将吐司递给人类。操作对象包括面包和烤面包机。每次操作时长约为20至40秒，记录频率为30 Hz。使用的机器人是7自由度双臂G1机器人，配备三指灵巧手作为末端执行器，支持双臂操作。图像分辨率为640x480，相机位置包括腕戴式单目相机和头戴式双目相机。数据内容包括机器人的当前状态、下一个动作以及当前相机视图图像。机器人初始姿态为每个数据集条目中的第一个机器人状态。物体放置要求将烤面包机和服务托盘放置在机器人手臂完全伸展可及的范围内，与机器人呈约45度角。相机视角遵循AVP远程操作文档第5部分的指南。重要注意事项包括：由于无法精确描述空间位置，安装硬件后需调整场景以尽可能匹配数据集的第一帧；数据收集并非单次完成，条目间存在差异，在模型训练中需考虑这些变化。数据集结构包含418个总剧集、352022个总帧、1个总任务、1672个总视频和1个总块，帧率为30 fps，所有数据用于训练分割。This dataset is created using LeRobot and focuses on robotics tasks. The task objectives are divided into two parts: the first part involves placing bread from a serving tray into a toaster, and the second part involves handing the toast to a human after it is toasted. The operational objects include bread and a toaster. Each operation lasts approximately 20 to 40 seconds, with a recording frequency of 30 Hz. The robot used is a 7-degree-of-freedom dual-arm G1 robot, equipped with a three-fingered dexterous hand as an end effector, supporting dual-arm operations. The image resolution is 640x480, with camera positions including a wrist-mounted monocular camera and a head-mounted binocular camera. The data content includes the robots current state, next action, and current camera view images. The robots initial pose is the first robot state in each dataset entry. Object placement requires placing the toaster and serving tray within the fully extended reach of the robots arms, at approximately a 45-degree angle to the robot. The camera perspective follows the guidelines in Part 5 of the AVP teleoperation documentation. Important notes include: due to the inability to precisely describe spatial positions, the scene should be adjusted after hardware installation to match the first frame of the dataset as closely as possible; data collection was not completed in a single session, and there are variations between entries, which should be considered in model training. The dataset structure includes 418 total episodes, 352022 total frames, 1 total task, 1672 total videos, and 1 total block, with a frame rate of 30 fps, and all data is used for training splits.

原始信息汇总

数据集概述

• 数据集名称：G1_Dex3_ToastedBread_Dataset
• 许可证：Apache-2.0
• 任务类别：机器人学（Robotics）
• 标签：LeRobot

任务目标

1. 第一步：将面包从服务托盘放入烤面包机。
2. 第二步：面包烤好后，将烤好的面包递给人类。

操作对象

• 面包
• 烤面包机（苏泊尔DJ805烤面包机吐司机，购买链接：[淘宝链接](https://e.tb.cn/h.60Va2WXFUDHazdQ?tk=uzwkeJCxTWW MF278)）

操作与记录参数

• 每次操作时长：约20至40秒
• 记录频率：30 Hz
• 图像分辨率：640x480
• 摄像头位置：
  • 腕部摄像头（单目）
  • 头部摄像头（双目）

机器人配置

• 机器人类型：7自由度双臂G1机器人
• 末端执行器：三指灵巧手
• 双臂操作：是

数据内容

• 机器人当前状态
• 机器人下一步动作
• 当前摄像头视图图像

机器人初始姿态

每个数据集条目中的第一个机器人状态。

物体放置要求

将烤面包机和服务托盘放置在机器人手臂完全伸展范围内，与机器人成约45度角。

摄像头视图设置

遵循 AVP遥操作文档 第5部分的指南。

重要注意事项

1. 由于无法精确描述空间位置，在按照AVP遥操作文档第5部分安装硬件后，需调整场景以尽可能匹配数据集的第一个帧。
2. 数据收集并非在单次会话中完成，数据条目之间存在差异。模型训练时必须考虑这些差异。

数据集结构

• 总数据片段数：418
• 总帧数：352,022
• 总任务数：1
• 总视频数：1,672
• 总块数：1
• 块大小：1000
• 帧率：30 FPS
• 数据分割：训练集为0至418（全部数据）

特征

特征名称	数据类型	形状	说明
observation.state	float32	(28,)	机器人关节状态（左右肩、肘、腕及手部关节）
action	float32	(28,)	动作指令（与状态对应）
observation.images.cam_left_high	video	(3, 480, 640)	头部左摄像头视频
observation.images.cam_right_high	video	(3, 480, 640)	头部右摄像头视频
observation.images.cam_left_wrist	video	(3, 480, 640)	腕部左摄像头视频
observation.images.cam_right_wrist	video	(3, 480, 640)	腕部右摄像头视频
timestamp	float32	(1,)	时间戳
frame_index	int64	(1,)	帧索引
episode_index	int64	(1,)	数据片段索引
index	int64	(1,)	全局索引
task_index	int64	(1,)	任务索引

数据路径

• 数据文件：data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频文件：videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

创建工具

该数据集使用 LeRobot 创建。