BrunoM42/robocasa_target_OpenCabinet

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 500,
"total_frames": 184024,
"total_tasks": 2,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:500"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作领域，robocasa_target_OpenCabinet数据集依托LeRobot平台构建，专注于模拟现实环境中的柜门开启任务。该数据集通过PandaOmron机器人采集了500个完整交互序列，总计184,024帧数据，以20帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。构建过程整合了多视角视觉观测、机器人状态及动作指令，为学习算法提供了丰富的时空上下文信息。

特点

robocasa_target_OpenCabinet数据集的核心特点在于其多维度的数据表征。它提供了三路同步视觉流：手眼相机视角与左右代理视角，均以256x256分辨率的三通道视频形式呈现，编码为h264格式。数据集同时包含16维的机器人状态向量与12维的动作空间，辅以任务描述与名称的标注。奖励信号与完成标志进一步支持强化学习框架，而时间戳与索引结构则保障了数据序列的时序完整性，整体设计兼顾了视觉感知与运动控制的协同建模需求。

使用方法

使用robocasa_target_OpenCabinet数据集时，研究者可通过LeRobot工具链便捷加载数据。数据集已预分为训练集，涵盖全部500个序列，用户可依据路径模板访问分块的Parquet文件及对应MP4视频。典型应用涉及机器人策略学习、模仿学习或视觉运动规划，通过解析观测图像、状态动作对及奖励信号，构建端到端的学习模型。数据的高帧率与多模态特性尤其适合训练深度神经网络，以提升在复杂操作任务中的泛化能力与鲁棒性。

背景与挑战

背景概述

在机器人操作领域，模拟真实世界环境中的复杂任务执行一直是推动智能体发展的核心驱动力。robocasa_target_OpenCabinet数据集作为LeRobot项目的重要组成部分，专注于解决机器人操作中的目标导向任务，特别是针对橱柜开启等精细操作。该数据集由HuggingFace社区基于开源框架构建，收录了PandaOmron机器人执行500个任务片段的数据，涵盖了多视角视觉观察、状态信息与动作序列，旨在为强化学习与模仿学习算法提供高质量、多样化的训练资源。其构建体现了当前机器人学习研究对大规模、结构化仿真数据的迫切需求，为提升机器人在非结构化环境中的自主操作能力奠定了数据基础。

当前挑战

该数据集致力于应对机器人操作中目标导向任务的挑战，例如在动态环境中进行精确的物体操控与序列决策。具体而言，其需要解决从多模态感知到动作生成的映射问题，尤其是在存在视觉遮挡、物体多样性及任务复杂度高的场景下确保策略的泛化能力。在构建过程中，挑战主要源于数据采集的规模与质量平衡，包括如何高效生成涵盖足够任务变体的仿真轨迹，确保视觉与状态数据的时空对齐，以及处理大规模视频与传感器数据所带来的存储与计算开销。此外，标注任务描述与名称的一致性维护，以及在不同硬件配置下保持数据格式的标准化，亦是构建过程中需克服的关键难点。

常用场景

经典使用场景

在机器人操作领域，robocasa_target_OpenCabinet数据集为模拟机械臂执行目标导向任务提供了丰富的多模态数据。该数据集通过PandaOmron机器人采集了500个交互片段，包含手眼相机和外部视角的视觉数据，以及机器人的状态和动作序列。这些数据典型地用于训练和评估机器人学习模型，特别是在复杂环境中执行如打开橱柜等精细操作任务，为模仿学习和强化学习算法提供了标准化的测试平台。

解决学术问题

该数据集针对机器人操作中样本效率低、泛化能力弱等核心学术问题提供了解决方案。通过提供大规模、高质量的真实世界交互数据，它支持了从视觉感知到动作生成的端到端学习研究。数据集的结构化设计使得研究者能够深入探索多任务学习、跨场景迁移以及基于视觉的决策制定等关键课题，显著推动了机器人自主操作能力的理论进展。

衍生相关工作

围绕该数据集，学术界衍生了一系列经典研究工作，主要集中在视觉-动作策略学习领域。利用其提供的多视角视频和同步动作序列，研究者开发了先进的模仿学习框架和基于模型的强化学习算法。这些工作不仅提升了机器人执行目标操作任务的精度和鲁棒性，还催生了新的基准测试和评估协议，为整个机器人学习社区设立了重要的性能参照标准。