BrunoM42/robocasa_target_DeliverStraw

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 504,
"total_frames": 433307,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:504"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据集构建领域，robocasa_target_DeliverStraw数据集依托LeRobot平台精心构建而成。该数据集聚焦于单一任务场景，通过PandaOmron机器人采集了504条完整轨迹，共计433,307帧数据，以每秒20帧的速率记录。数据以分块形式存储，每块包含1000帧，采用Parquet格式高效组织，同时辅以MP4格式的视频文件，分别从手眼相机和左右代理视角捕捉高分辨率视觉信息，确保了多模态数据的同步与完整性。

特点

该数据集在机器人学习领域展现出鲜明的技术特征，其核心在于提供了丰富的多模态观测数据。视觉方面包含三路256x256像素的RGB视频流，分别对应手眼视角及左右代理视角，编码为H.264格式，帧率稳定。同时，数据集整合了16维的机器人状态向量、12维的动作空间以及即时奖励与终止信号，所有数据均以20Hz频率严格对齐。这种结构化的设计使得数据集能够支持端到端的策略学习与模仿学习研究，为复杂操作任务的算法验证提供了坚实的数据基础。

使用方法

研究人员可利用该数据集进行机器人技能学习与行为克隆等实验。数据集已预划分为训练集，涵盖全部504个轨迹，用户可通过加载Parquet文件直接访问帧级别的观测、动作及奖励数据。配套的视频文件便于直观分析机器人行为。典型的使用流程包括：解析数据块以构建状态-动作对序列，利用多视角图像训练视觉表征模型，或结合状态与奖励信号实施强化学习算法。数据集遵循Apache 2.0许可，确保了学术使用的开放性与灵活性。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习正逐步推动智能体在复杂物理环境中执行精细操作任务的能力发展。robocasa_target_DeliverStraw数据集作为这一前沿探索的产物，由LeRobot项目团队构建，旨在通过大规模、高质量的真实机器人交互数据，促进机器人操作技能的泛化与迁移研究。该数据集聚焦于单一任务——递送吸管，利用PandaOmron机器人平台采集了504个完整交互序列，共计超过43万帧的多视角视觉观测与状态动作数据，为研究机器人灵巧操作中的感知-动作映射提供了宝贵的实证基础。其结构化设计不仅支持端到端策略学习，也为多模态表征学习与任务泛化评估设立了新基准。

当前挑战

robocasa_target_DeliverStraw数据集所针对的核心领域挑战在于机器人操作任务中的长期序列决策与精细动作控制。具体而言，递送吸管这类任务要求机器人具备对细小物体的稳定抓取、精确路径规划以及在动态环境中的适应性，这涉及到高维视觉输入与低维动作空间之间的复杂映射关系。在数据集构建过程中，挑战主要体现在大规模真实机器人数据采集的工程复杂性上，包括多相机视角的同步校准、高帧率视频数据的存储与处理，以及交互序列中状态、动作与奖励信号的精确对齐。此外，确保数据多样性与任务一致性之间的平衡，避免过拟合于特定环境配置，也是构建高质量机器人数据集的关键难点。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_DeliverStraw数据集以其丰富的视觉与动作序列记录，为模仿学习与强化学习算法提供了宝贵的训练资源。该数据集聚焦于单一任务——递送吸管，通过PandaOmron机器人执行，涵盖了504个完整交互片段，包含多视角高清视频及对应的状态与动作数据。研究者可借此数据集训练端到端的策略模型，使机器人从视觉输入中学习复杂的操作技能，实现精准的任务执行。

解决学术问题

该数据集有效应对了机器人操作任务中数据稀缺与泛化能力不足的挑战。通过提供大规模、高质量的真实世界交互数据，它支持了视觉运动策略的监督学习与离线强化学习研究，促进了跨场景的技能迁移。其结构化标注与多模态特征融合，为理解机器人感知-动作映射关系提供了实证基础，推动了具身智能在动态环境中的适应性探索。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在视觉模仿学习与多任务策略泛化领域。例如，基于LeRobot框架的扩展研究利用此类数据开发了分层强化学习架构，提升了长期任务规划的稳定性。同时，结合Transformer等先进模型，学者们进一步探索了跨模态表示学习，推动了机器人操作技能的零样本迁移与自适应控制技术的发展。