BrunoM42/robocasa_target_PickPlaceCounterToStove

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 501,
"total_frames": 129560,
"total_tasks": 28,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:501"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务领域，robocasa_target_PickPlaceCounterToStove数据集依托LeRobot平台构建，专门针对从台面拾取物体并放置到炉灶的复杂操作。该数据集通过PandaOmron机器人系统采集，涵盖了501个完整操作片段，总计129,560帧数据，以20帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，确保了高效的数据管理与访问。多视角视觉信息与机器人状态动作同步采集，为模仿学习与强化学习提供了丰富的时序轨迹。

特点

该数据集的核心特征在于其多模态数据结构的精心设计。视觉观测方面，提供了机器人手眼相机与两个固定视角的同步视频流，分辨率均为256x256，编码格式统一，确保了视觉信息的一致性。状态空间包含16维浮点数，动作空间为12维，辅以奖励信号与终止标志，构成了完整的马尔可夫决策过程框架。数据集覆盖28种不同任务变体，任务描述与名称以索引形式标注，便于进行任务泛化研究。数据与视频文件总计约300MB，在保证质量的同时兼顾了存储效率。

使用方法

使用该数据集时，研究者可通过LeRobot库或直接加载Parquet文件访问结构化数据。数据按片段索引组织，支持按帧或按片段批量读取。多路视频流可与对应的状态、动作序列对齐，用于训练端到端的策略网络或进行行为克隆。奖励与终止信号适用于离线强化学习算法的验证。数据集目前仅提供训练划分，包含全部501个片段，适合用于模型训练与验证。在具体应用中，需注意数据的时间同步性，并依据任务索引进行条件化学习，以探索跨任务的迁移能力。

背景与挑战

背景概述

在机器人操作领域，模拟真实世界复杂任务的数据集对于推动具身智能的发展至关重要。robocasa_target_PickPlaceCounterToStove数据集应运而生，它专注于厨房环境中的拾放操作任务，具体模拟将物品从台面搬运至炉灶的连贯动作。该数据集由LeRobot项目团队构建，依托Apache 2.0开源协议发布，旨在为机器人学习提供高质量、多模态的演示数据。其核心研究问题在于如何让机器人通过观察与交互数据，理解并执行需要空间推理和精细操控的日常家务，从而推动家庭服务机器人的实用化进程。数据集包含501条轨迹、超过12万帧图像及状态动作对，为模仿学习与强化学习算法提供了丰富的训练素材。

当前挑战

该数据集致力于解决机器人操作中非结构化环境下的长时程任务规划挑战，要求模型从视觉观察中推断物体属性、空间关系，并生成精确的抓取与放置序列。构建过程中的挑战同样显著，包括在真实或高保真模拟环境中采集大量、多样化的任务演示数据，确保数据在时间上的一致性以及多视角视觉流与低维状态动作对的精确对齐。此外，数据标注需要准确描述复杂任务的目标与步骤，而大规模视频数据的存储、压缩与高效检索也构成了工程上的难题。这些挑战共同指向了构建可用于实际机器人技能学习的标准化基准所必须克服的技术壁垒。

常用场景

经典使用场景

在机器人操作领域，robocasa_target_PickPlaceCounterToStove数据集为模仿学习与强化学习算法提供了丰富的训练资源。该数据集记录了PandaOmron机械臂执行从台面拾取物品并放置到炉灶上的任务过程，包含多视角视频、状态观测与动作序列，使得研究者能够基于真实世界交互数据开发端到端的控制策略。其结构化的时序数据尤其适用于序列建模，助力算法学习复杂操作中的时空依赖关系。

解决学术问题

该数据集有效应对了机器人泛化能力不足的学术挑战，通过提供多样化的任务实例，支持模型在未见场景中的迁移学习研究。它解决了传统仿真环境与真实世界存在的语义鸿沟问题，为具身智能的感知-动作闭环验证提供了实证基础。数据集中包含的奖励信号与完成标志，进一步促进了离线强化学习与策略评估方法的创新，推动机器人自主决策理论的深化。

衍生相关工作

围绕该数据集，学术界已衍生出一系列经典研究工作，例如基于视觉-语言模型的指令跟随系统，利用其多模态数据探索自然语言指令到机器人动作的映射。此外，许多研究借助该数据集进行行为克隆算法的基准测试，比较不同网络架构在长时序任务中的性能。这些工作不仅拓展了数据集的利用维度，也为机器人学习领域的算法创新奠定了坚实的实验基础。