BrunoM42/robocasa_target_SteamInMicrowave

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 511,
"total_frames": 487012,
"total_tasks": 17,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:511"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

许可证：apache-2.0
任务类别：
- 机器人学
标签：
- LeRobot(LeRobot)
配置项：
- 配置名称：default
数据文件：data/*/*.parquet
---

本数据集基于[LeRobot(LeRobot)](https://github.com/huggingface/lerobot)构建。

## 数据集描述
- **主页**：[待补充更多信息]
- **论文**：[待补充更多信息]
- **许可证**：apache-2.0

## 数据集结构
[meta/info.json](meta/info.json):
json
{
"代码库版本": "v3.0",
"机器人类型": "PandaOmron",
"总轨迹数": 511,
"总帧数": 487012,
"总任务数": 17,
"分块大小": 1000,
"帧率": 20,
"数据划分": {
"训练集": "0:511"
},
"数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"数据特征": {
"观测.图像.机器人0_手眼相机": {
"数据类型": "video",
"形状": [
256,
256,
3
],
"维度名称": [
"高度",
"宽度",
"通道"
],
"视频信息": {
"视频.fps": 20,
"视频.codec": "h264",
"视频.pix_fmt": "yuv420p",
"视频.is_depth_map": false,
"has_audio": false
},
"详细信息": {
"视频.height": 256,
"视频.width": 256,
"视频.codec": "h264",
"视频.pix_fmt": "yuv420p",
"视频.is_depth_map": false,
"视频.fps": 20,
"视频.channels": 3,
"has_audio": false
}
},
"观测.图像.机器人0_左侧代理视角": {
"数据类型": "video",
"形状": [
256,
256,
3
],
"维度名称": [
"高度",
"宽度",
"通道"
],
"视频信息": {
"视频.fps": 20,
"视频.codec": "h264",
"视频.pix_fmt": "yuv420p",
"视频.is_depth_map": false,
"has_audio": false
},
"详细信息": {
"视频.height": 256,
"视频.width": 256,
"视频.codec": "h264",
"视频.pix_fmt": "yuv420p",
"视频.is_depth_map": false,
"视频.fps": 20,
"视频.channels": 3,
"has_audio": false
}
},
"观测.图像.机器人0_右侧代理视角": {
"数据类型": "video",
"形状": [
256,
256,
3
],
"维度名称": [
"高度",
"宽度",
"通道"
],
"视频信息": {
"视频.fps": 20,
"视频.codec": "h264",
"视频.pix_fmt": "yuv420p",
"视频.is_depth_map": false,
"has_audio": false
},
"详细信息": {
"视频.height": 256,
"视频.width": 256,
"视频.codec": "h264",
"视频.pix_fmt": "yuv420p",
"视频.is_depth_map": false,
"视频.fps": 20,
"视频.channels": 3,
"has_audio": false
}
},
"标注.人工.任务描述": {
"数据类型": "int64",
"形状": [
1
],
"fps": 20
},
"标注.人工.任务名称": {
"数据类型": "int64",
"形状": [
1
],
"fps": 20
},
"观测.状态": {
"数据类型": "float64",
"形状": [
16
],
"fps": 20
},
"动作": {
"数据类型": "float64",
"形状": [
12
],
"fps": 20
},
"下一时刻奖励": {
"数据类型": "float32",
"形状": [
1
],
"fps": 20
},
"轨迹结束标志": {
"数据类型": "bool",
"形状": [
1
],
"fps": 20
},
"时间戳": {
"数据类型": "float32",
"形状": [
1
],
"维度名称": null,
"fps": 20
},
"帧索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null,
"fps": 20
},
"轨迹索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null,
"fps": 20
},
"全局索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null,
"fps": 20
},
"任务索引": {
"数据类型": "int64",
"形状": [
1
],
"维度名称": null,
"fps": 20
}
},
"数据文件总大小（MB）": 100,
"视频文件总大小（MB）": 200
}

## 引用
**BibTeX:**
bibtex
[待补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_SteamInMicrowave数据集依托LeRobot平台构建，采用PandaOmron机器人执行特定任务。数据采集过程以20帧每秒的频率记录，涵盖511个完整操作片段，总计超过48万帧。观测数据以视频形式存储，包含手眼视角与全局视角的双目图像，同时整合机器人的状态向量、动作指令及任务标注，所有数据以分块Parquet格式组织，确保了高效存储与访问。

特点

该数据集以多模态观测为核心特征，提供高分辨率的三通道视觉信息，图像尺寸统一为256x256像素，编码格式为h264。数据维度丰富，不仅包含机器人关节状态与动作的时序序列，还附带有奖励信号及任务完成标志，支持强化学习与模仿学习算法的训练。其结构设计兼顾了大规模数据处理的需求，通过分块存储机制平衡了数据读取效率与存储开销，为复杂任务的学习提供了坚实基础。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化观测与动作序列，利用帧索引与片段索引进行时序分析。视觉数据以MP4视频格式独立存储，便于可视化与模型输入。数据集适用于机器人策略学习、行为克隆及多任务泛化研究，用户可依据任务描述与名称字段筛选特定场景，结合状态与动作数据构建端到端的学习管道，推动家庭环境下的机器人操作能力进展。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、多样化的真实世界交互数据。robocasa_target_SteamInMicrowave数据集应运而生，它依托LeRobot开源框架构建，专注于家庭环境中的具体操作任务。该数据集由HuggingFace社区发布，采用Apache 2.0许可，旨在推动机器人灵巧操作与任务泛化能力的研究。其核心研究问题在于如何让机器人学习并执行如“将食物放入微波炉加热”这类需要多步骤规划与精细控制的日常活动。通过提供包含511个 episodes、近50万帧的多视角视觉观测、机器人状态与动作序列的丰富数据，该数据集为开发能够适应复杂动态环境的智能体奠定了坚实基础，对促进服务机器人的实用化具有重要影响力。

当前挑战

该数据集致力于解决机器人领域中的长期挑战，即让机器人在非结构化家庭环境中可靠地完成复杂的多步骤操作任务。具体挑战体现在任务本身的复杂性上，例如“将食物放入微波炉并启动”这一行为，不仅涉及抓取、放置的灵巧控制，还需理解容器特性、微波炉界面操作等高层语义，这对模型的场景理解与序列决策能力提出了极高要求。在数据构建过程中，挑战同样显著：需要协调真实的机器人硬件（PandaOmron）在物理世界中安全、高效地采集海量交互数据；确保多路高清视频流与机器人状态数据的精确同步与对齐；以及设计合理的数据标注与存储结构，以管理高达数百GB的原始数据，并支持后续的大规模分布式训练。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_SteamInMicrowave数据集以其丰富的多视角视觉与状态动作序列，为模仿学习与强化学习算法提供了经典验证平台。该数据集聚焦于家用环境下的物体操作任务，特别是微波炉加热场景，通过PandaOmron机器人采集的511个交互片段，涵盖了从视觉感知到动作执行的完整闭环数据。研究者能够利用这些高帧率视频与同步状态信息，训练模型理解复杂环境中的物体交互动态，从而推动机器人自主执行日常任务的能力发展。

实际应用

在实际应用层面，robocasa_target_SteamInMicrowave数据集直接服务于家庭服务机器人的开发与优化。基于该数据集训练的模型能够赋能机器人执行诸如食品加热、容器操作等日常家务，降低人工干预需求。其数据采集于真实物理环境，确保了学习策略在现实部署中的可行性，为智能家居、老年护理等领域的自动化解决方案提供了可靠的技术支撑，加速了服务机器人从实验室走向商业化的进程。

衍生相关工作

围绕该数据集，学术界已衍生出一系列经典研究工作，特别是在视觉运动策略学习与多任务泛化方向。例如，基于LeRobot框架的扩展研究利用其时序数据探索了分层强化学习与记忆增强网络的应用。同时，该数据集常被用作基准测试工具，评估不同算法在长时程任务规划与动态环境交互中的性能，促进了如行为克隆、逆强化学习等方法的比较与创新，为机器人学习社区的算法迭代提供了重要参照。