G1_Dex3_ToastedBread_Dataset
收藏资源简介：
该数据集由LeRobot创建，专用于机器人任务，具体任务目标分为两部分：第一部分是将面包从服务托盘放入烤面包机；第二部分是在面包烤好后，将烤面包递给人类。操作对象包括面包和烤面包机（购买链接在README中提供）。每个操作时长约为20到40秒，数据记录频率为30赫兹。机器人类型为7自由度双臂G1机器人，末端执行器为三指灵巧手，支持双臂操作。图像分辨率为640x480，相机位置包括腕部安装的单目相机和头部安装的双目相机。数据内容涵盖机器人当前状态、机器人下一动作以及当前相机视图图像。机器人初始姿态为每个数据集条目中的第一个机器人状态。物体放置要求将烤面包机和服务托盘放置在机器人手臂完全伸展可及的范围内，与机器人呈约45度角。相机视角遵循AVP Teleoperation Documentation第5部分的指南。重要注意事项包括：由于无法精确描述空间位置，安装硬件后需根据AVP Teleoperation Documentation第5部分调整场景以匹配数据集第一帧；数据收集非单次完成，存在条目间差异，训练模型时需考虑这些差异。
This dataset is created by LeRobot for robotic tasks. The task objectives are divided into two parts: the first part involves placing bread from a serving tray into a toaster; the second part involves handing the toasted bread to a human after toasting. Operated objects include bread and a toaster (purchase link provided). Each operation lasts approximately 20 to 40 seconds, with a recording frequency of 30 Hz. The robot type is a 7-DOF dual-arm G1 robot, with a three-fingered dexterous hand as the end effector, supporting dual-arm operation. The image resolution is 640x480, and camera positions include a wrist-mounted monocular camera and a head-mounted binocular camera. Data content covers the robots current state, the robots next action, and the current camera view image. The robots initial pose is the first robot state in each dataset entry. Object placement requires placing the toaster and serving tray within the full reach of the robots arms, at approximately a 45-degree angle to the robot. The camera perspective follows the guidelines in Part 5 of the AVP Teleoperation Documentation. Important notes include: due to the inability to precisely describe spatial positions, after installing the hardware, the scene must be adjusted according to Part 5 of the AVP Teleoperation Documentation to match the first frame of the dataset; data collection was not completed in a single session, and there are variations between entries, which should be considered when training models.
数据集概述
数据集名称: G1_Dex3_ToastedBread_Dataset
许可证: Apache-2.0
任务类别: 机器人学 (Robotics)
创建工具: LeRobot
任务目标
该数据集专注于一个包含两个步骤的机器人操作任务：
- Part 1: 将面包从托盘中放入烤面包机。
- Part 2: 面包烤好后，将烤好的面包递给人类。
操作对象
- 面包 (Bread)
- 烤面包机 (Toaster) (购买链接: [淘宝](https://e.tb.cn/h.60Va2WXFUDHazdQ?tk=uzwkeJCxTWW MF278 「苏泊尔DJ805烤面包机吐司机小型家用早餐机多士炉烤吐司三明治机」))
数据采集参数
- 操作时长: 每次操作约 20 至 40 秒。
- 记录频率: 30 Hz。
- 图像分辨率: 640x480。
- 相机位置:
- 腕部相机 (单目)
- 头部相机 (双目)
- 机器人类型: 7-DOF 双臂 G1 机器人。
- 末端执行器: 三指灵巧手。
- 双臂操作: 是。
数据内容
每条数据记录包含：
- 机器人当前状态 (Robots current state)
- 机器人下一步动作 (Robots next action)
- 当前相机视图图像 (Current camera view images)
机器人初始姿态: 每条数据的第一个机器人状态。
物体放置: 烤面包机和托盘需放置在机器人手臂完全伸展可及的范围内，与机器人约成 45 度角。
相机视角: 遵循 AVP Teleoperation Documentation 第 5 部分的指南。
数据集结构 (依据 meta/info.json)
| 属性 | 数值 |
|---|---|
| 总片段数 (Total Episodes) | 418 |
| 总帧数 (Total Frames) | 352,022 |
| 总任务数 (Total Tasks) | 1 |
| 总视频数 (Total Videos) | 1,672 |
| 总块数 (Total Chunks) | 1 |
| 块大小 (Chunk Size) | 1000 |
| 帧率 (FPS) | 30 |
| 训练/测试分割 | 训练集: 0:418 (全量训练) |
数据特征:
| 特征名称 | 数据类型 | 形状 | 说明 |
|---|---|---|---|
observation.state |
float32 | (28,) | 包含左右臂各7个关节及左右手各7个手指关节的位置 |
action |
float32 | (28,) | 与状态特征维度相同的动作向量 |
observation.images.cam_left_high |
video | (3, 480, 640) | 头部左侧高视角相机，AV1编码，30fps |
observation.images.cam_right_high |
video | (3, 480, 640) | 头部右侧高视角相机，AV1编码，30fps |
observation.images.cam_left_wrist |
video | (3, 480, 640) | 左腕相机，AV1编码，30fps |
observation.images.cam_right_wrist |
video | (3, 480, 640) | 右腕相机，AV1编码，30fps |
timestamp |
float32 | (1,) | 时间戳 |
frame_index |
int64 | (1,) | 帧索引 |
episode_index |
int64 | (1,) | 片段索引 |
index |
int64 | (1,) | 全局索引 |
task_index |
int64 | (1,) | 任务索引 |
数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4
重要注意事项
- 由于无法精确描述空间位置，在按照 AVP Teleoperation Documentation 第 5 部分安装硬件后，需调整场景以尽量匹配数据集的第一帧。
- 数据采集并非一次性完成，不同数据条目之间存在差异，模型训练时需要考虑这些差异。
