BrunoM42/robocasa_target_SetUpCuttingStation

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 504,
"total_frames": 336025,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:504"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_SetUpCuttingStation数据集依托LeRobot平台构建而成，旨在记录机械臂执行特定任务的过程。该数据集通过PandaOmron机器人采集了504个完整任务片段，总计包含超过33万帧数据，以每秒20帧的速率捕捉了机器人设置切割工作站的全部动作序列。数据以分块形式存储于Parquet文件中，每块约1000帧，确保了高效的数据管理与访问。

特点

该数据集的核心特征在于其多模态数据的高质量整合，不仅提供了机器人末端执行器视角、左右全局视角的三路同步RGB视频流，每路分辨率均为256x256，还包含了16维的机器人状态观测向量与12维的动作指令。数据集严格遵循时间对齐原则，所有特征均以20Hz频率同步采样，并附有任务描述、完成标志及奖励信号，为模仿学习与强化学习算法提供了结构化的训练基础。

使用方法

研究人员可通过加载Parquet格式的数据文件直接访问各帧的观测、动作及元数据，视频流则以MP4格式独立存储，便于可视化分析。数据集适用于端到端的策略学习、行为克隆或离线强化学习等任务，其统一的数据结构支持与LeRobot代码库无缝集成，用户可依据帧索引、片段索引快速提取所需序列，进行模型训练与验证。

背景与挑战

背景概述

在机器人学习领域，构建能够执行复杂家庭任务的智能体是核心研究目标之一。robocasa_target_SetUpCuttingStation数据集应运而生，专注于机器人切割台设置这一具体操作场景。该数据集由LeRobot平台创建，采用了PandaOmron机器人进行数据采集，共包含504个完整任务片段，总计超过33万帧的多视角视觉与状态动作数据。其设计旨在为机器人模仿学习与强化学习算法提供高质量、结构化的真实世界交互轨迹，推动家庭服务机器人从感知到操作的端到端能力发展。

当前挑战

该数据集旨在解决机器人执行结构化家庭任务（如切割台准备）时面临的挑战，核心在于如何让机器人理解并完成涉及多步骤、多对象交互的复杂序列操作。这要求算法具备从高维视觉输入中提取任务语义、规划精细动作序列以及适应环境微小变化的能力。在构建过程中，挑战同样显著：需要设计安全可靠的自动化或半自动化数据采集流程，确保多传感器（如手眼相机与全局视角相机）数据的精确同步与对齐，并以高效格式（如Parquet）管理大规模视频与状态数据，同时保证数据标注（如任务描述）的准确性与一致性。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_SetUpCuttingStation数据集为模拟厨房环境中的切割工作站布置任务提供了丰富的多模态演示数据。该数据集通过PandaOmron机器人采集了504个完整的情节，包含手眼相机和全局视角的高清视频流，以及机器人的状态和动作序列。这些数据典型地用于训练和评估机器人模仿学习与强化学习算法，使机器人能够学习如何从杂乱的环境中识别、抓取并摆放刀具、砧板等物品，以完成切割前的准备工作。

解决学术问题

该数据集直接应对了机器人学中从演示中学习复杂长时程操作任务的挑战。它提供了结构化、大规模的真实世界交互数据，有助于解决模仿学习中分布偏移、多模态感知融合以及序列决策的泛化问题。通过提供精确的动作标签和丰富的视觉观测，该数据集支持研究人员开发能够理解任务语义、进行精细操作规划的新一代算法，推动了具身智能在非结构化环境中的实际应用能力。

衍生相关工作

围绕该数据集及其所属的RoboCasa生态，已衍生出多项经典研究工作。例如，基于大规模机器人数据集进行预训练的多任务策略学习框架，利用此类结构化演示数据来提升策略的泛化性和样本效率。同时，在视觉语言动作模型领域，研究人员利用此类包含任务描述的数据集，探索如何将自然语言指令与机器人动作序列对齐，从而开发出能通过语言指令进行零样本任务规划的通用机器人操作模型。