BrunoM42/robocasa_target_TurnOnMicrowave

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 543,
"total_frames": 80439,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:543"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_TurnOnMicrowave数据集通过LeRobot框架精心构建，旨在为微波炉开启任务提供高质量的训练资源。该数据集利用PandaOmron机器人平台，在模拟环境中采集了543个完整任务片段，总计80439帧数据，并以20帧每秒的速率记录。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效组织，同时配套存储了多视角的RGB视频流，确保了数据的完整性与可追溯性。

特点

该数据集的核心特征在于其多模态观测与结构化标注的深度融合。观测部分包含机器人手眼相机与两个固定视角的256x256分辨率RGB图像，以视频形式封装，编码格式统一为h264。状态观测与动作数据分别以16维和12维的浮点向量表征，并辅以任务描述、奖励信号及终止标志等标注信息。这种设计不仅支持端到端的策略学习，也为视觉-动作映射、模仿学习与强化学习算法的验证提供了丰富而一致的基准。

使用方法

使用robocasa_target_TurnOnMicrowave数据集时，研究者可通过LeRobot库或兼容的数据加载工具直接读取Parquet文件。数据集已预分为训练集，涵盖全部543个片段，用户可依据帧索引或片段索引灵活提取图像序列、状态向量及对应动作。由于数据包含密集的时间对齐与多视角同步，适合用于训练时序模型或进行行为克隆分析。同时，配套的视频文件允许直观可视化任务执行过程，便于算法调试与性能评估。

背景与挑战

背景概述

在机器人学习领域，模拟真实世界中的复杂操作任务一直是推动智能体泛化能力发展的核心驱动力。robocasa_target_TurnOnMicrowave数据集作为RoboCasa项目的一部分，专注于微波炉开启这一具体家庭环境操作，由HuggingFace的LeRobot团队构建，旨在为机器人模仿学习与强化学习算法提供高质量、多模态的演示数据。该数据集依托PandaOmron机器人平台，收录了543条完整操作序列，涵盖手眼相机与全局视角的双目视觉观测、机器人状态及动作指令，其结构化设计为模型在动态、非结构化场景下的技能迁移与策略学习奠定了实证基础。

当前挑战

该数据集致力于解决家庭服务机器人执行精细化操作任务时所面临的挑战，例如在多变光照、物体遮挡及机械臂运动约束下准确识别微波炉控件并完成开启动作。构建过程中的挑战主要体现在多传感器数据的时空对齐与同步，需确保视觉流、状态信息与动作指令在20Hz采样频率下的一致性；同时，大规模演示数据的采集与标注需克服真实物理交互的高成本与安全性限制，而数据格式的统一与高效存储亦对后续算法训练的可扩展性构成考验。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_TurnOnMicrowave数据集专为模拟家庭环境中的微波炉开启任务而设计，其经典使用场景聚焦于训练机器人执行精细的物体操作与交互。该数据集通过提供多视角的视觉观测、机器人状态及动作序列，支持研究人员开发基于模仿学习或强化学习的控制策略，使机器人能够理解并完成从定位微波炉到精确按压按钮的完整流程。

衍生相关工作

围绕该数据集衍生的经典工作主要包括基于视觉的模仿学习算法优化与多模态策略网络设计。研究人员利用其丰富的时序数据，开发了能够处理部分可观测马尔可夫决策过程的深度强化学习方法，并进一步扩展至跨任务技能组合研究，推动了机器人学习社区在行为克隆与离线强化学习方向上的创新。

数据集最近研究

最新研究方向

在机器人操作技能学习领域，robocasa_target_TurnOnMicrowave数据集聚焦于微波炉开启这一具体家庭任务，为模仿学习与强化学习算法提供了高质量的多模态演示数据。该数据集包含丰富的视觉观测信息，如手眼相机与全局视角图像，结合精确的动作序列与状态反馈，正推动着视觉-动作映射模型的前沿探索。当前研究热点集中于利用此类结构化数据训练端到端策略网络，以提升机器人在非结构化环境中的泛化能力与操作鲁棒性，其影响深远，为家庭服务机器人的实际部署奠定了关键的数据基础。