BrunoM42/robocasa_target_StoreLeftoversInBowl

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 503,
"total_frames": 390829,
"total_tasks": 17,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:503"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_StoreLeftoversInBowl数据集依托LeRobot平台构建，专注于模拟家庭环境中的物品收纳任务。该数据集通过PandaOmron机器人系统采集，记录了503个完整操作片段，涵盖17种不同任务场景，总计超过39万帧数据。数据以分块形式存储，每块包含1000帧，以20帧每秒的速率采集，确保了时序连贯性。观测数据包括机器人手眼相机及左右代理视角的RGB视频流，同时整合了机器人状态、动作指令及奖励信号等多模态信息，形成结构化的序列记录。

特点

该数据集的核心特征在于其多视角视觉观测与机器人状态数据的深度融合。三个独立的256x256分辨率RGB视频流分别从手眼相机和左右代理视角提供丰富视觉上下文，视频编码采用h264标准并以yuv420p像素格式存储。机器人状态以16维浮点向量表征，动作空间为12维，配合单步奖励和终止标志，构成了标准的强化学习环境。数据组织遵循时间序列，每帧均附带时间戳、帧索引及任务标识，便于时序建模与分析。所有数据以Parquet格式高效存储，总数据量约300MB，兼顾了存储效率与访问速度。

使用方法

研究者可通过LeRobot框架直接加载该数据集，用于机器人操作策略的离线训练与评估。数据集已预分割为训练集，包含全部503个片段，支持端到端的模仿学习或强化学习算法验证。典型使用流程包括解析Parquet文件获取多模态观测序列，结合动作与奖励信号构建状态-动作对。视频数据可通过指定路径访问，配合帧同步的时间戳信息实现多传感器数据对齐。该数据集适用于家庭场景下的长期任务泛化研究，特别是针对餐具收纳这类需精细操作的任务，为算法在真实世界部署前的仿真验证提供可靠基准。

背景与挑战

背景概述

在机器人操作领域，模拟真实世界复杂任务的数据集对于推动具身智能发展至关重要。robocasa_target_StoreLeftoversInBowl数据集作为LeRobot项目的一部分，专注于家庭环境中的物品整理任务，具体为“将剩余食物存入碗中”。该数据集由HuggingFace社区基于开源机器人学习框架LeRobot构建，采用了PandaOmron型号机器人进行数据采集，共包含503个任务片段，总计超过39万帧的多视角视觉与状态动作数据。其核心研究问题在于解决机器人对非结构化家居场景的理解与灵巧操作能力，旨在为模仿学习与强化学习算法提供高质量、大规模的真实交互数据，从而加速家庭服务机器人的实用化进程。

当前挑战

该数据集致力于解决家庭场景下机器人执行复杂长周期操作任务的挑战，其核心问题在于如何让机器人从视觉观察中理解任务目标，并生成精确、鲁棒的动作序列以完成如抓取、转移和放置等精细操作。构建过程中的挑战尤为显著，首先需要设计安全可靠的物理实验平台以采集真实机器人交互数据，这涉及高昂的硬件成本与时间消耗。其次，数据标注与对齐过程复杂，必须确保多路视频流、机器人状态与动作指令在时间维度上严格同步。此外，家居环境的多样性与任务本身的开放性要求数据采集覆盖足够的场景变化，以保障模型的泛化能力，避免过拟合于特定摆设或物体。

常用场景

经典使用场景

在机器人操作与视觉感知领域，robocasa_target_StoreLeftoversInBowl数据集为研究多模态学习提供了经典范例。该数据集聚焦于家庭环境中的日常任务，例如将剩余食物存储至碗中，通过PandaOmron机器人采集的高帧率视频与状态动作序列，为模仿学习与强化学习算法提供了丰富的训练样本。其结构化数据涵盖了机器人手眼视角与全局视角的视觉信息，结合精确的动作标注，使得研究者能够深入探索视觉引导下的机器人操作策略。

实际应用

在实际应用中，robocasa_target_StoreLeftoversInBowl数据集能够助力家庭服务机器人的开发，提升其在厨房场景中的自主操作能力。基于该数据集训练的模型可应用于智能仓储、食品处理等日常任务，实现自动化剩余食物管理。其多模态数据支持了机器人对非结构化环境的适应，为商业化服务机器人产品提供了可靠的技术验证平台。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，包括基于视觉的模仿学习算法改进与多任务强化学习框架的构建。这些工作利用数据集的丰富标注探索了跨模态表示学习，推动了机器人操作策略的样本效率提升。部分研究进一步扩展了数据集的用途，将其作为基准测试平台，用于评估机器人长期任务执行的性能与泛化能力。