BrunoM42/robocasa_target_WashLettuce

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 501,
"total_frames": 243286,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:501"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_WashLettuce数据集依托LeRobot平台构建而成，其核心在于模拟真实环境下的生菜清洗任务。该数据集通过PandaOmron机器人系统采集，总计包含501条完整操作序列，覆盖超过24万帧视觉与状态数据。数据以分块形式组织，每块约1000帧，并以Parquet格式存储，确保了高效的数据读取与处理。视觉信息通过机器人手眼相机及两个外部视角相机同步捕获，帧率稳定在20Hz，为时序动作分析提供了连贯的观察基础。

使用方法

研究者可通过HuggingFace平台直接访问该数据集，利用其预定义的数据结构进行模型训练与评估。数据集已划分为完整的训练集，用户可依据分块索引加载对应的Parquet文件，同步获取视频流与状态动作序列。在具体应用中，该数据集适用于模仿学习、强化学习及多模态机器人策略学习等方向，能够支持端到端策略训练或行为克隆方法的验证。数据集中包含的时间戳、帧索引与任务索引等元信息，为序列建模与跨片段分析提供了便利。

背景与挑战

背景概述

在机器人操作领域，实现复杂环境下的灵巧任务执行一直是核心研究问题。robocasa_target_WashLettuce数据集由LeRobot项目团队创建，旨在推动家庭服务机器人完成精细的日常操作任务。该数据集聚焦于“清洗生菜”这一具体场景，通过PandaOmron机器人采集了501条轨迹，包含超过24万帧的多视角视觉观测与状态动作数据。其构建依托于开源机器人学习框架LeRobot，体现了学术界对可重复、大规模机器人技能学习数据集的迫切需求，为模仿学习与强化学习算法提供了宝贵的真实世界交互资源，显著促进了家庭自动化机器人技术的实证研究进展。

当前挑战

该数据集致力于解决机器人操作中非结构化环境下的感知与决策挑战，具体任务涉及对易变形物体（生菜）的识别、抓取与清洗，要求算法具备高度的鲁棒性与适应性。构建过程中的挑战包括多模态数据的高效同步与对齐，确保视觉流、状态量与动作指令在时间上的一致性；同时，真实世界数据的采集需克服环境干扰、物体状态变化以及机器人控制误差，保证轨迹的多样性与质量。此外，大规模视频数据的存储、压缩与标注也带来了显著的计算与工程复杂度，需平衡数据分辨率、存储开销与后续模型训练的效率。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_WashLettuce数据集以其专注于单一任务——清洗生菜——的精细记录而著称。该数据集通过PandaOmron机器人执行任务，提供了多视角视觉观察、状态向量及动作序列的同步数据，为模仿学习与强化学习算法的训练与验证奠定了坚实基础。其结构化的视频与传感器数据流，使得研究者能够深入分析机器人在复杂操作中的决策过程，从而推动机器人灵巧操作能力的提升。

解决学术问题

该数据集针对机器人操作中的长期挑战，即如何从高维感官输入中学习精细的物体操控策略，提供了实证研究平台。它解决了模仿学习中行为克隆的数据稀缺问题，并为离线强化学习提供了丰富的状态-动作对轨迹。通过精确标注的任务描述与奖励信号，数据集助力于探索多模态感知下的策略泛化、样本效率优化以及跨任务迁移学习等核心学术议题，显著促进了机器人自主技能习得理论的发展。

实际应用

在实际应用层面，robocasa_target_WashLettuce数据集直接服务于家庭服务机器人的开发，特别是在厨房自动化场景中。基于该数据集训练的模型能够指导机器人完成食品准备过程中的清洗步骤，提升其在非结构化环境中的适应性与可靠性。这类技术可延伸至餐饮业、医疗护理及智能家居领域，实现机器人协助人类完成重复性劳动，减轻人力负担，并推动服务机器人向更复杂、更安全的日常任务迈进。

数据集最近研究

最新研究方向

在机器人操作领域，家庭环境下的灵巧任务执行正成为研究焦点。robocasa_target_WashLettuce数据集以清洗生菜这一具体家务场景为切入点，提供了包含多视角视觉观测与状态动作序列的丰富数据。该数据集推动了基于视觉的模仿学习与强化学习算法在非结构化环境中的泛化能力研究，尤其关注模型对柔软、易变形物体的操作理解。随着具身智能与通用机器人策略的兴起，此类高质量、任务导向的真实世界数据成为训练大规模多模态策略模型的关键，助力机器人适应复杂动态的家庭场景，实现更自主、可靠的家务协助。