BrunoM42/robocasa_target_LoadDishwasher

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 501,
"total_frames": 369430,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:501"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_LoadDishwasher数据集通过LeRobot平台精心构建。该数据集采集了PandaOmron机器人执行“装载洗碗机”任务的演示数据，共包含501个完整操作片段，总计369,430帧图像。数据以20帧每秒的速率录制，并采用分块存储策略，每块约1000帧，最终以Parquet格式保存，确保了高效的数据访问与处理。

特点

该数据集的核心特点在于其多视角视觉观测与结构化动作记录的融合。它提供了机器人手眼相机及两个外部视角的高清视频流，每帧图像分辨率均为256x256像素，编码为H.264格式。同时，数据集精确记录了机器人的16维状态向量、12维动作指令以及任务完成奖励与终止标志，形成了状态-动作-奖励的完整序列，为模仿学习与强化学习算法提供了丰富的训练素材。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化观测与动作序列，利用帧索引和片段索引进行灵活的数据切片。数据集适用于端到端的机器人策略学习，例如训练视觉-动作映射模型。其多模态特性支持联合训练视觉编码器与策略网络，而高帧率的视频数据可用于时序建模研究，推动家庭服务机器人复杂操作技能的自动化学习。

背景与挑战

背景概述

在机器人学习领域，面向家庭环境的具身智能任务正成为研究热点。robocasa_target_LoadDishwasher数据集由LeRobot项目团队构建，专注于洗碗机装载这一具体家务操作。该数据集收录了501条轨迹片段，共计超过36万帧图像数据，采用PandaOmron机器人平台，以20帧每秒的频率同步记录多视角视觉观测、机器人状态与动作指令。其核心研究问题在于解决机器人对复杂、多步骤日常任务的感知与执行能力，旨在推动机器人从结构化工业场景向非结构化家庭环境的过渡，为模仿学习与强化学习算法提供高质量的真实世界交互数据。

当前挑战

该数据集致力于解决家庭服务机器人执行洗碗机装载任务时所面临的挑战，这一任务要求机器人具备对多样化餐具的识别能力、在受限空间内的灵巧操作技能以及对任务顺序的合理规划。在构建过程中，挑战主要源于真实世界数据的采集与标注：多视角视频数据的高效同步与存储、长周期任务轨迹的连续记录、以及人类演示动作的精确复现均存在技术难度。此外，确保数据在动态、非结构化家庭环境中的多样性与泛化性，同时维持数据规模与质量的平衡，亦是数据集构建的关键难点。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_LoadDishwasher数据集以其专注于餐具装载任务而成为经典范例。该数据集通过PandaOmron机器人采集的501个完整操作序列，提供了丰富的视觉与状态数据，涵盖了从多视角图像到动作指令的完整交互记录。研究人员通常利用这些数据训练端到端的模仿学习或强化学习模型，使机器人能够理解并执行将餐具精确放入洗碗机的复杂操作。这种场景不仅模拟了家庭环境中的实际需求，也为算法在动态、多物体交互任务中的泛化能力提供了验证平台。

实际应用

robocasa_target_LoadDishwasher数据集的实际应用直接指向家庭服务机器人的自动化升级。在智能家居场景中，机器人需要具备处理日常家务的能力，而装载洗碗机正是其中一项繁琐且重复性高的任务。利用该数据集训练的模型可部署于实际机器人系统，实现餐具识别、抓取、摆放等一系列动作的自主执行。这不仅提升了家庭自动化的水平，也为养老助残等社会服务领域提供了技术支撑，展现了机器人技术在改善人类生活质量方面的潜在价值。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究工作。例如，基于其多视角视觉数据，研究者开发了更高效的视觉表征学习方法，以增强机器人对物体姿态和场景理解的鲁棒性。同时，结合动作序列与状态信息，多项研究探索了分层强化学习框架在长时程任务中的应用，优化了策略学习的样本效率。此外，数据集也被用于跨任务迁移学习的实验，验证了在相似家庭操作任务中知识共享的可行性，进一步推动了机器人通用操作能力的发展。