BrunoM42/robocasa_target_PackIdenticalLunches

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 501,
"total_frames": 719964,
"total_tasks": 51,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:501"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据集构建领域，robocasa_target_PackIdenticalLunches数据集依托LeRobot框架，通过PandaOmron机器人平台采集了501个完整任务片段。数据以20帧每秒的频率记录，涵盖机器人手眼视角与全局视角的双目视觉信息，同时整合了16维状态观测与12维动作指令。原始数据被分割为每1000帧一个区块，并以Parquet格式高效存储，确保了大规模时序数据的结构化组织与快速访问。

特点

该数据集的核心特征在于其多模态数据的深度融合，不仅提供三路256x256分辨率的同步视频流，还包含精确的动作序列与状态反馈。每个数据点均标注了任务描述、完成标志及奖励信号，形成了完整的强化学习数据链。高达719,964帧的规模与200GB的视频存储量为模型训练提供了充足的样本空间，其统一的时间戳索引机制保障了跨模态数据的时间对齐精度。

使用方法

研究者可通过LeRobot工具链直接加载数据集，利用预定义的Parquet文件路径访问分块存储的观测与动作数据。训练过程中可提取机器人视觉观察、关节状态及动作向量，结合任务标签构建端到端的策略学习管道。数据集的标准化字段设计兼容主流强化学习库，支持从行为克隆到离线强化学习等多种算法验证，为家庭场景下的物品整理任务研究提供基准支持。

背景与挑战

背景概述

在机器人学习领域，模拟真实世界复杂操作任务的数据集对于推动具身智能发展至关重要。robocasa_target_PackIdenticalLunches数据集由LeRobot平台创建，专注于机器人执行重复性午餐打包任务。该数据集包含501个完整交互序列，总计超过71万帧多视角视觉与状态数据，采用PandaOmron机械臂在模拟环境中采集。其核心研究问题在于如何让机器人学习并泛化高度结构化的日常操作技能，如精准抓取、放置与物品整理，旨在为机器人策略学习与模仿学习提供高质量、大规模的训练资源，进而促进家庭与服务机器人实际应用能力的提升。

当前挑战

该数据集致力于解决机器人操作中物品识别、抓取规划与序列执行等核心挑战，尤其在处理形状相似、摆放随机的相同物品时，要求算法具备精细的感知与决策能力。构建过程中面临多重困难：多传感器数据同步与对齐需确保视觉、状态与动作序列的时间一致性；大规模仿真交互数据的采集与标注耗费巨量计算资源；任务设计需平衡真实性与多样性，以覆盖足够多的操作变体。此外，数据存储与高效访问亦构成工程挑战，需优化视频编码与特征提取流程，保障数据可用性与处理效率。

常用场景

经典使用场景

在机器人操作领域，robocasa_target_PackIdenticalLunches数据集为模仿学习与强化学习算法提供了丰富的训练资源。该数据集聚焦于日常午餐打包任务，通过PandaOmron机器人采集了501个完整交互序列，包含多视角视觉观测与精确动作记录。研究者可借助这些数据训练模型理解复杂物体操作逻辑，实现从视觉输入到动作输出的端到端映射，推动机器人执行重复性家务劳动的自主性发展。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究工作，包括基于Transformer的序列预测模型、跨任务知识迁移框架以及多智能体协作策略。这些工作充分利用数据集提供的密集奖励信号与状态标注，探索了分层强化学习、元学习等前沿方向。部分研究进一步扩展了数据集的语义标注体系，构建了更精细的任务分解评估基准，持续推动机器人操作研究的深度与广度。

数据集最近研究

最新研究方向

在机器人操作领域，robocasa_target_PackIdenticalLunches数据集聚焦于结构化环境下的重复性任务学习，其多视角视觉数据与状态动作序列的同步记录，为模仿学习与强化学习算法的融合提供了丰富资源。当前研究前沿正探索如何利用此类大规模真实世界交互数据，训练具备泛化能力的多任务策略模型，以应对家庭服务场景中物体识别、抓取规划与序列执行等复杂挑战。随着具身智能与通用机器人平台的兴起，该数据集通过标准化格式与高质量标注，推动了跨模态表示学习与离线强化学习方法的进展，为机器人自主执行日常任务奠定了数据基础。