BrunoM42/robocasa_target_SearingMeat

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 501,
"total_frames": 439466,
"total_tasks": 32,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:501"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据集的构建领域，robocasa_target_SearingMeat数据集依托LeRobot平台精心构建。该数据集通过PandaOmron机器人执行32项具体任务，采集了501条完整轨迹，共计439,466帧数据。数据以每秒20帧的速率记录，并采用分块存储策略，每块包含1000帧，最终以Parquet格式高效组织，确保了大规模时序数据的结构化存储与快速访问。

特点

该数据集在机器人视觉与状态表征方面展现出显著特点，其核心在于多视角视觉观测的集成。数据集提供了机器人手眼相机视角以及左右两个全局视角的高清视频流，每路视频均为256x256分辨率的RGB图像，采用H.264编码。同时，数据集精确记录了机器人的16维状态向量、12维动作指令以及任务完成标志与奖励信号，这种多模态数据的同步对齐为模仿学习与强化学习算法提供了丰富的训练素材。

使用方法

对于希望利用该数据集的研究者，其使用路径清晰明确。数据可通过标准的Parquet文件进行加载，并配套提供了对应的MP4格式视频文件。数据集目前仅包含训练分割，涵盖了全部501个训练片段。用户可依据`episode_index`、`task_index`等关键索引字段，灵活提取特定任务或轨迹的观测-动作对序列，进而用于机器人策略学习、行为克隆或离线强化学习等模型的训练与评估。

背景与挑战

背景概述

在机器人学习领域，模拟真实世界复杂操作任务的数据集对于推动具身智能的发展至关重要。robocasa_target_SearingMeat数据集作为RoboCasa项目的一部分，专注于烹饪场景下的具体任务——煎肉，旨在为机器人操作技能的学习与泛化提供高质量的多模态演示数据。该数据集由LeRobot平台构建，采用了PandaOmron机器人平台，共包含501条轨迹、超过43万帧图像及32项任务，其核心研究问题在于如何让机器人通过观察学习，掌握在动态、非结构化厨房环境中执行需精细力控与时序规划的烹饪操作。这类数据集的涌现，正逐步填补机器人从封闭实验室走向开放应用场景的关键空白，对提升机器人在家庭服务等领域的自主能力具有显著影响力。

当前挑战

该数据集致力于解决机器人操作学习中技能泛化与复杂任务规划的挑战。烹饪任务如煎肉涉及对物体状态（如肉质变化）的感知、热源交互的精确控制以及多步骤时序动作的协调，要求模型能从有限的演示中推断出背后的物理规律与任务逻辑。在构建过程中，挑战主要集中于高质量数据采集的复杂性：需在真实或高度仿真的环境中，确保多视角视觉数据（如眼在手和全局视角）的同步与校准，同时记录高维状态与动作向量，并保证任务演示的多样性与安全性。此外，大规模操作数据的标注、存储与高效组织，亦是构建此类数据集的普遍难题。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_SearingMeat数据集以其丰富的多视角视觉与状态动作序列，为模仿学习与强化学习算法提供了经典验证平台。该数据集记录了PandaOmron机械臂执行煎肉任务的全过程，包含手眼相机与全局视角的高帧率视频流，以及精确的关节状态与动作向量，使得研究者能够基于真实世界交互数据训练端到端的策略模型，探索在复杂厨房环境中机器人操作的泛化能力。

实际应用

robocasa_target_SearingMeat数据集直接服务于家庭服务机器人的开发与优化，尤其在自动化烹饪场景中展现出重要价值。基于该数据集训练的模型可赋能机械臂完成煎制肉排等需要时序协调与力控精度的任务，减少人工干预，提升厨房工作的安全性与效率。此类技术有望集成于智能家居系统，为老年护理或商业餐饮领域提供可靠的自动化解决方案。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在机器人多任务学习与跨领域适应方面。例如，利用其序列数据开发的分层强化学习框架，能够将煎肉技能迁移至其他食物处理任务；基于视觉预训练的表示模型则通过该数据集微调，提升了在遮挡与光照变化下的操作鲁棒性。这些研究进一步扩展了LeRobot生态系统的能力边界，为开源机器人学习社区提供了可复现的基准与算法改进方向。