BrunoM42/robocasa_target_NavigateKitchen

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 500,
"total_frames": 72786,
"total_tasks": 13,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:500"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_NavigateKitchen数据集通过LeRobot平台精心构建，以模拟真实厨房环境中的导航任务。该数据集包含500个完整的情节，总计72786帧数据，涵盖13种不同的任务类型。数据采集过程采用PandaOmron机器人，以每秒20帧的速率记录多视角视觉信息与机器人状态，并以分块存储的Parquet格式组织，确保高效的数据访问与管理。

特点

该数据集的核心特征在于其丰富的多模态数据表示，不仅提供机器人眼在手和左右代理视角的三通道彩色视频流，还整合了16维状态观测向量和12维动作空间。每个数据样本均附带任务描述与名称标注，并包含奖励信号与终止标志，为强化学习算法的训练与评估提供了完整的环境交互轨迹。数据以标准化格式存储，支持大规模并行处理与高效检索。

使用方法

研究人员可通过加载Parquet格式的数据文件直接访问结构化观测与动作序列，利用帧索引和情节索引实现轨迹的完整重构。数据集适用于厨房导航任务的模仿学习、强化学习以及跨任务泛化研究，其多视角视觉输入可用于训练视觉运动策略模型。用户可依据任务索引筛选特定场景数据，结合时间戳信息进行时序分析，推动机器人自主导航能力的发展。

背景与挑战

背景概述

在机器人学习领域，构建能够执行复杂日常任务的智能体是核心研究目标之一。robocasa_target_NavigateKitchen数据集应运而生，旨在为机器人导航与操作提供丰富的多模态数据支持。该数据集由LeRobot项目团队创建，依托Apache 2.0开源协议发布，专注于厨房环境中的导航任务。数据集包含500个完整交互序列，总计超过7.2万帧数据，涵盖13种不同任务，采用PandaOmron机器人平台采集。其核心研究问题在于如何让机器人理解并执行厨房场景下的目标导向导航，这对于推动家庭服务机器人的实际应用具有重要影响力。

当前挑战

该数据集致力于解决机器人自主导航中的环境感知与决策规划挑战。厨房环境具有高度动态性和结构复杂性，机器人需准确识别障碍物、理解空间布局并规划安全路径。构建过程中面临多模态数据同步的困难，需要精确对齐视觉观测、机器人状态与动作指令。大规模视频数据的采集与标注耗费巨大资源，确保数据质量与一致性成为关键难题。此外，模拟环境与真实世界的差异使得数据泛化能力受到考验，如何构建具有足够多样性的场景以覆盖现实厨房的变异性亦是重要挑战。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_NavigateKitchen数据集为导航任务提供了丰富的仿真环境。该数据集聚焦于厨房场景中的目标导向导航，通过PandaOmron机器人采集的500个任务片段，包含多视角视觉观察、机器人状态及动作序列。研究者利用这些数据训练强化学习或模仿学习模型，使机器人能够在复杂厨房环境中自主规划路径、避开障碍并抵达指定位置，从而验证导航算法的鲁棒性与泛化能力。

实际应用

在实际应用中，robocasa_target_NavigateKitchen数据集为家庭服务机器人的开发奠定了数据基础。基于此数据集训练的模型可部署于智能厨房助手，实现物品取放、区域巡视等日常功能。其仿真环境能大幅降低实体机器人的测试成本与安全风险，加速产品迭代。此外，该数据集还可用于教育领域，为学生和工程师提供标准化的实验平台，以掌握机器人导航的核心技术。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在视觉导航算法的创新上。例如，结合Transformer架构的端到端策略学习，利用多视角图像提升空间理解；也有研究探索分层强化学习框架，将导航任务分解为子目标序列。这些工作不仅优化了导航精度与速度，还推动了仿真到现实迁移的技术进展，为后续更复杂的机器人操作数据集提供了方法论借鉴。