BrunoM42/robocasa_target_GetToastedBread

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 506,
"total_frames": 654840,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:506"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据集的构建领域，robocasa_target_GetToastedBread数据集依托LeRobot平台精心构建而成。该数据集聚焦于单一任务，即烤面包的操作序列，通过PandaOmron机器人采集了总计506条完整轨迹。数据以每秒20帧的速率记录，被组织成大小为1000帧的数据块，并存储为Parquet格式，确保了高效的数据存储与读取。整个构建过程系统性地捕获了机器人的多视角视觉观察、状态信息以及对应的动作序列，为模仿学习与强化学习算法提供了结构化的训练素材。

特点

该数据集在机器人学习领域展现出鲜明的技术特征。其核心在于提供了丰富的多模态观测数据，包括机器人手眼相机视角以及两个固定视角的彩色视频流，所有图像均以256x256分辨率呈现。数据集不仅包含高维的连续动作空间与机器人状态向量，还嵌入了任务完成奖励及终止标志，构成了完整的马尔可夫决策过程框架。数据规模庞大，涵盖超过65万帧的交互记录，并以分块存储方式平衡了数据管理的便利性与访问效率，为复杂策略的端到端训练奠定了坚实基础。

使用方法

对于致力于机器人技能学习的研究者而言，该数据集的使用路径清晰而直接。用户可通过标准的Parquet数据加载接口访问以数据块形式组织的内容，并依据帧索引、回合索引等元数据灵活提取所需片段。数据集内嵌的视频文件可通过指定路径独立访问，便于进行视觉表征分析。研究者可将其直接用于行为克隆或离线强化学习算法的训练，利用其提供的状态-动作对及密集奖励信号来学习烤面包任务的操控策略。数据集的统一结构与丰富注释极大简化了实验复现与模型验证的流程。

背景与挑战

背景概述

在机器人学习领域，模拟真实世界复杂操作任务的数据集对于推动具身智能的发展至关重要。robocasa_target_GetToastedBread数据集作为RoboCasa项目的一部分，专注于烤面包这一日常厨房任务，旨在为机器人操作学习提供高质量的多模态演示数据。该数据集由Hugging Face的LeRobot团队创建，采用PandaOmron机器人平台，通过眼在手和全局视角的双目视觉系统，记录了506个完整操作序列，共计超过65万帧图像与状态动作对。其核心研究问题在于解决机器人如何在非结构化家庭环境中执行精细的物体操作任务，通过提供大规模、结构化的真实机器人交互数据，显著促进了模仿学习与强化学习算法在现实场景中的泛化能力与应用落地。

当前挑战

robocasa_target_GetToastedBread数据集所应对的领域挑战，主要集中于机器人操作学习中的复杂任务规划与精细动作控制。烤面包任务涉及多个子步骤，如抓取面包、放置进烤面包机、启动开关等，要求机器人具备对物体状态变化的感知能力、时序动作的连贯性以及与环境的安全交互。在数据集构建过程中，挑战体现在高质量多模态数据的同步采集与标注上，包括高帧率视觉流与机器人状态数据的精确对齐、大规模视频数据的存储与处理效率，以及确保演示数据在多样性和真实性之间的平衡，避免过拟合于特定环境配置。这些挑战共同指向了构建能够支撑鲁棒且泛化性强机器人策略学习的数据基础设施的复杂性。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_GetToastedBread数据集以其丰富的视觉与状态序列数据，为模仿学习与强化学习算法提供了经典的应用场景。该数据集聚焦于烤面包这一日常任务，通过PandaOmron机器人采集的506个完整轨迹，包含多视角高清视频与精确的动作状态记录，使得研究者能够训练模型理解复杂环境中的物体交互与任务执行逻辑。这种结构化数据特别适用于端到端策略学习，推动机器人从感知到动作的闭环控制能力提升。

解决学术问题

该数据集有效应对了机器人学中泛化能力不足与样本效率低下的核心挑战。通过提供大规模、高质量的真实世界操作数据，它支持算法在多变场景下学习稳健的策略，减少对仿真环境的依赖。其多模态观测与动作标注有助于解决视觉-动作映射的模糊性问题，促进跨任务的知识迁移。在学术层面，数据集为验证新型模仿学习框架、探索多任务学习机制以及优化奖励函数设计提供了实证基础，加速了家庭服务机器人的实用化进程。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，主要集中在视觉运动策略学习与多模态表示对齐方面。例如，基于LeRobot平台开发的基准算法常利用此类数据进行行为克隆与逆强化学习的性能评估。同时，结合Transformer架构的序列建模方法通过该数据集验证了长时程任务规划的可行性。这些工作不仅推动了机器人操作数据集的标准化进程，也为后续如RoboNet、BridgeData等更大规模数据集的构建提供了方法论借鉴。