BrunoM42/robocasa_target_ScrubCuttingBoard

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 504,
"total_frames": 228864,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:504"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_ScrubCuttingBoard数据集依托LeRobot平台构建，专注于模拟厨房环境中的清洁任务。该数据集通过PandaOmron机器人采集了504个完整操作序列，总计228,864帧数据，以20帧每秒的速率记录。数据以分块形式存储于Parquet文件中，每块包含1000帧，同时配套存储了对应的高清视频片段，确保了时序动作与视觉观察的同步对齐。

特点

该数据集的核心特征在于其多模态观测结构，提供了机器人手眼相机与两个固定视角的RGB图像，分辨率均为256x256，编码为H.264格式。观测状态包含16维浮点数向量，动作空间则为12维，辅以奖励信号与终止标志。所有数据均以20Hz频率同步，形成了密集的时空对应关系，为模仿学习与强化学习算法提供了丰富的训练信号。

使用方法

研究者可通过LeRobot库直接加载该数据集，数据按训练集划分，涵盖全部504个序列。典型应用包括端到端策略学习、行为克隆或离线强化学习，利用其图像观测与状态动作对训练模型。数据以帧索引与片段索引组织，便于按时间步或完整任务序列进行采样，支持批量处理与序列建模。

背景与挑战

背景概述

在机器人操作领域，模仿学习与强化学习的发展亟需大规模、高质量的真实世界交互数据作为支撑。robocasa_target_ScrubCuttingBoard数据集应运而生，它由LeRobot项目团队构建，专注于家庭环境中的具身智能任务。该数据集记录了PandaOmron机械臂执行“擦洗砧板”这一具体家务操作的完整轨迹，包含504个训练片段，总计超过22万帧的多视角视觉观测、机器人状态与动作序列。其核心研究问题在于如何让机器人通过观察人类演示数据，学习并泛化复杂的接触式操作技能，从而推动服务机器人在非结构化家庭场景中的实际应用。

当前挑战

该数据集旨在解决机器人模仿学习中接触式精细操作任务的泛化难题。具体挑战体现在任务层面：擦洗动作涉及工具使用、力觉控制与表面清洁度判断，要求模型从视觉流中理解并复现动态的物理交互过程。在构建过程中，挑战同样显著：需在真实物理环境中采集大量成功演示，确保数据在动作时序、状态观测与奖励信号上的一致性；同时，处理高维度的图像与状态数据并高效存储，以及为复杂的连续控制任务设计合理的任务描述与标注体系，都是数据集构建者面临的实际困难。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_ScrubCuttingBoard数据集聚焦于家庭环境下的精细任务执行，特别是针对厨房场景中的切割板清洁动作。该数据集通过PandaOmron机器人采集了504个完整操作序列，包含多视角视觉观测与状态动作数据，为模仿学习与强化学习算法提供了丰富的训练资源。研究者能够利用这些序列数据，训练机器人理解并复现人类在复杂环境中的操作策略，从而推动机器人自主执行日常家务任务的进展。

衍生相关工作

围绕该数据集，学术界已衍生出一系列经典研究工作，主要集中在视觉运动策略学习与多任务泛化方向。例如，基于模仿学习的行为克隆方法利用数据集中的动作序列进行策略蒸馏；而离线强化学习算法则借助其状态-动作对优化决策过程。同时，结合生成模型的数据增强技术也依托该数据集扩展了训练样本的多样性，推动了跨场景适应与零样本学习等前沿课题的探索。

数据集最近研究

最新研究方向

在机器人操作学习领域，robocasa_target_ScrubCuttingBoard数据集聚焦于家庭环境下的精细任务，如清洁砧板，这体现了机器人技术向日常场景渗透的趋势。该数据集通过LeRobot平台构建，包含多视角视觉观测与状态动作序列，为模仿学习与强化学习算法提供了丰富资源。当前前沿研究正探索如何利用此类大规模真实世界数据，结合视觉语言模型，提升机器人对复杂任务的泛化能力与操作精度。随着具身智能的兴起，该数据集在推动机器人理解人类意图、实现自主决策方面具有重要价值，相关成果正逐步应用于服务机器人开发，以应对老龄化社会中的家庭辅助需求。