BrunoM42/robocasa_target_KettleBoiling

---
license: apache-2.0
task_categories:
- robotics
tags:
- LeRobot
configs:
- config_name: default
data_files: data/*/*.parquet
---

This dataset was created using [LeRobot](https://github.com/huggingface/lerobot).

## Dataset Description

- **Homepage:** [More Information Needed]
- **Paper:** [More Information Needed]
- **License:** apache-2.0

## Dataset Structure

[meta/info.json](meta/info.json):
```json
{
"codebase_version": "v3.0",
"robot_type": "PandaOmron",
"total_episodes": 501,
"total_frames": 228349,
"total_tasks": 1,
"chunks_size": 1000,
"fps": 20,
"splits": {
"train": "0:501"
},
"data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet",
"video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4",
"features": {
"observation.images.robot0_eye_in_hand": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_left": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"observation.images.robot0_agentview_right": {
"dtype": "video",
"shape": [
256,
256,
3
],
"names": [
"height",
"width",
"channel"
],
"video_info": {
"video.fps": 20,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"has_audio": false
},
"info": {
"video.height": 256,
"video.width": 256,
"video.codec": "h264",
"video.pix_fmt": "yuv420p",
"video.is_depth_map": false,
"video.fps": 20,
"video.channels": 3,
"has_audio": false
}
},
"annotation.human.task_description": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"annotation.human.task_name": {
"dtype": "int64",
"shape": [
1
],
"fps": 20
},
"observation.state": {
"dtype": "float64",
"shape": [
16
],
"fps": 20
},
"action": {
"dtype": "float64",
"shape": [
12
],
"fps": 20
},
"next.reward": {
"dtype": "float32",
"shape": [
1
],
"fps": 20
},
"next.done": {
"dtype": "bool",
"shape": [
1
],
"fps": 20
},
"timestamp": {
"dtype": "float32",
"shape": [
1
],
"names": null,
"fps": 20
},
"frame_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"episode_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
},
"task_index": {
"dtype": "int64",
"shape": [
1
],
"names": null,
"fps": 20
}
},
"data_files_size_in_mb": 100,
"video_files_size_in_mb": 200
}
```

## Citation

**BibTeX:**

```bibtex
[More Information Needed]
```

搜集汇总

数据集介绍

构建方式

在机器人操作任务数据集的构建领域，robocasa_target_KettleBoiling数据集通过LeRobot框架精心构建而成。该框架采用PandaOmron机器人平台，以20帧每秒的采样率，系统性地采集了501条完整的任务执行轨迹，共计228,349帧数据。数据以分块形式组织，每块包含1000帧，并存储为Parquet格式，确保了高效的数据存储与访问。整个构建过程聚焦于单一任务——烧水壶操作，通过记录机器人的多视角视觉观测、状态信息以及对应的动作序列，形成了结构化的示范数据集。

特点

该数据集在机器人模仿学习与强化学习研究中展现出显著特点。其核心在于提供了丰富的多模态观测数据，包括机器人手眼相机视角以及左右两个固定视角的高清视频流，每帧图像分辨率均为256x256像素，编码格式为H.264。同时，数据集包含了16维的机器人状态向量、12维的动作向量以及即时奖励和任务完成标志，所有数据均以20Hz的频率严格同步。这种高精度、多视角且时间对齐的数据结构，为训练复杂的端到端策略模型提供了坚实的基础。

使用方法

对于旨在利用示范数据推进机器人技能学习的研究者而言，该数据集的使用方法清晰而直接。用户可通过加载指定的Parquet数据文件来访问每一帧的观测、动作及元数据。数据集已预分为训练集，涵盖了全部501条轨迹，便于直接用于行为克隆或离线强化学习算法的训练。研究者可以依据`episode_index`和`frame_index`索引特定轨迹与时间步，并关联对应的MP4格式视频文件进行可视化分析，从而深入理解机器人执行烧水壶任务的行为模式与决策过程。

背景与挑战

背景概述

在机器人学习领域，模仿学习与强化学习的发展亟需高质量、大规模的真实世界交互数据集作为支撑。robocasa_target_KettleBoiling数据集应运而生，由LeRobot项目团队创建，专注于家庭环境中的具身智能任务。该数据集记录了PandaOmron机器人执行烧水任务的501条轨迹，包含超过22万帧的多视角视觉观测、机器人状态与动作序列，旨在为机器人操作技能的学习与泛化提供实证基础。其核心研究问题在于如何让机器人通过观察人类演示或自主探索，掌握复杂、长周期的日常操作能力，从而推动服务机器人在非结构化环境中的实际应用。

当前挑战

该数据集致力于解决机器人操作任务中长周期、多步骤序列学习的挑战，例如烧水任务涉及物体抓取、姿态调整、开关操控等连续决策，要求模型具备强大的时序理解与动作规划能力。在构建过程中，挑战主要源于真实世界数据的采集与标注：机器人硬件同步控制、多传感器数据融合、任务轨迹的精确记录均需高度可靠的系统集成；同时，大规模视频数据的存储、压缩与高效检索也带来了显著的计算与工程负担。此外，确保演示数据的多样性、覆盖任务执行中的各种边缘情况，以提升学习模型的鲁棒性，同样是数据集构建的关键难点。

常用场景

经典使用场景

在机器人操作领域，robocasa_target_KettleBoiling数据集聚焦于家庭环境中的水壶烧水任务，为机器人学习复杂操作提供了丰富的视觉与动作数据。该数据集通过PandaOmron机器人采集了501个完整操作序列，包含多视角视频和状态信息，典型应用于训练机器人模仿学习模型，使其能够理解并执行从抓取水壶到放置加热的连贯动作。数据集的高帧率视频和结构化标注支持了端到端策略学习，推动了机器人自主执行日常任务的能力。

衍生相关工作

围绕该数据集，衍生出多项经典研究工作，主要集中在机器人模仿学习和强化学习领域。例如，基于LeRobot框架的后续研究利用这些数据开发了高效的策略蒸馏方法，提升了任务完成率。同时，数据集促进了多任务学习模型的探索，如将水壶烧水动作泛化到其他加热操作。这些工作不仅扩展了数据集的学术价值，还为开源机器人社区提供了可复现的基准，推动了整个领域的标准化进程。

数据集最近研究

最新研究方向

在机器人操作领域，robocasa_target_KettleBoiling数据集聚焦于家庭环境中的水壶烧水任务，为具身智能研究提供了丰富的多模态交互数据。该数据集包含501个由PandaOmron机器人执行的完整操作序列，涵盖手眼视角与全局视角的高清视频流，以及精确的动作状态标注，为模仿学习与强化学习算法的训练与评估奠定了坚实基础。当前前沿研究围绕视觉-动作表征学习展开，旨在从多视角视频中提取鲁棒的特征表示，以提升机器人在复杂动态场景下的泛化能力。同时，结合大语言模型进行任务规划与指令理解成为热点方向，通过自然语言描述驱动机器人完成序列化操作，推动机器人向更智能、更自主的家居助手演进。这一数据集不仅加速了机器人技能学习的进程，也为跨任务迁移与安全交互等关键挑战提供了实证研究平台，对推动服务机器人的实际应用具有深远意义。