BrunoM42/robocasa_target_ArrangeBreadBasket

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 514,
"total_frames": 403577,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:514"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_ArrangeBreadBasket数据集依托LeRobot框架构建而成。该数据集聚焦于单一任务场景，通过PandaOmron机器人平台采集了514条完整操作序列，总计包含超过40万帧数据。数据以分块形式组织，每块包含1000帧，并以Parquet格式存储，确保了高效的数据访问与处理。视频数据以20帧每秒的速率录制，采用H.264编码，提供了机器人手眼视角及多个外部视角的同步视觉信息，为模仿学习与强化学习算法提供了丰富的训练素材。

特点

该数据集在机器人感知与控制方面展现出显著特点。其提供了多视角的高清视觉流，包括手眼摄像头及左右代理视角，所有图像分辨率统一为256x256像素，形成了对操作环境的立体观测。同时，数据集整合了机器人的状态信息与动作指令，状态向量维度为16，动作空间维度为12，并附带有奖励信号及任务完成标志，构成了完整的马尔可夫决策过程记录。这种多模态、高帧率且结构化的数据组织方式，极大地支持了端到端机器人策略的学习与验证。

使用方法

研究人员可利用该数据集进行机器人操作技能的深度探索。数据以标准化的Parquet文件存放，通过指定的路径模式即可加载相应的数据块与视频文件。在具体应用中，可依据帧索引、回合索引等元数据灵活提取训练片段，结合视觉观察、状态向量与动作标签，训练视觉运动策略模型。由于数据集已预设训练划分，且包含密集的奖励信号，它可直接用于离线强化学习、行为克隆等算法的实验，推动家庭场景中机器人摆放面包篮等精细操作任务的智能化进展。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需大规模、高质量的真实世界交互数据作为支撑。robocasa_target_ArrangeBreadBasket数据集应运而生，它依托LeRobot开源框架构建，专注于家庭环境中的具体操作任务——整理面包篮。该数据集由HuggingFace社区发布，采用Apache 2.0许可协议，其核心旨在为机器人灵巧操作研究提供丰富的多模态演示数据。数据集包含514个完整交互片段，总计超过40万帧图像与状态动作序列，数据采集自PandaOmron机器人平台，并以20帧每秒的速率记录了眼在手与全局视角的双目视觉信息，为模型训练与算法验证奠定了坚实基础。

当前挑战

该数据集致力于解决家庭服务机器人执行复杂日常任务时面临的挑战，尤其是涉及精细物体操作与场景理解的序列决策问题。具体而言，整理面包篮任务要求机器人具备对不规则物体的稳定抓取、避障规划以及目标导向的摆放能力，这需要模型从高维视觉输入中有效提取特征并生成精确的低维控制指令。在构建过程中，挑战主要集中于多传感器数据的同步对齐与大规模视频流的高效存储，同时确保动作轨迹的平滑性与任务完成的成功率。此外，真实世界环境的动态变化与物体属性的多样性也为数据采集的完整性与一致性带来了显著困难。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_ArrangeBreadBasket数据集为研究多模态感知与精细动作规划提供了经典范例。该数据集聚焦于家庭环境中的面包篮整理任务，通过PandaOmron机器人采集了514个完整操作序列，包含手眼相机与全局视角的高清视频流，以及机器人的状态与动作数据。研究者可利用这些丰富的时序数据，训练模型理解物体空间关系，并生成连贯的抓取、放置轨迹，从而推动机器人从感知到执行的端到端学习框架的发展。

衍生相关工作

围绕该数据集，学术界已衍生出多项经典研究工作。例如，基于LeRobot平台构建的视觉-动作映射模型，实现了从原始像素到连续控制指令的端到端预测。部分研究利用数据集的时序特性，开发了基于Transformer的序列建模方法，提升了长程任务规划的准确性。还有工作结合元学习框架，从有限演示中泛化出多种整理技能，推动了少样本机器人操作的发展。这些成果共同丰富了机器人学习领域的算法生态。

数据集最近研究

最新研究方向

在家庭服务机器人领域，robocasa_target_ArrangeBreadBasket数据集聚焦于特定物品整理任务，为机器人操作技能的学习提供了丰富的多模态数据。当前研究前沿围绕视觉-动作联合建模展开，利用数据集中的手眼相机与全局视角视频序列，结合深度强化学习框架，探索端到端的策略生成方法。这一方向与大规模基础模型在机器人领域的应用热潮紧密相连，旨在提升机器人在非结构化环境中的泛化能力和任务适应性，对推动家庭自动化与智能助理的实用化进程具有显著意义。