robocasa_target_TurnOffStove

该数据集由LeRobot创建，采用Apache-2.0许可证，专注于机器人技术领域。数据集包含PandaOmron机器人的500个任务片段，总计114027帧数据，涵盖8种不同任务。数据以20帧每秒的速率采集，并以1000帧为一个块进行存储。数据集仅包含训练集。数据内容包括机器人手眼摄像头、左右视角摄像头的视频数据（256x256分辨率，H.264编码，YUV420P格式），以及任务描述、任务名称、机器人状态（16维）、动作（12维）、奖励、完成标志、时间戳、帧索引、片段索引、索引和任务索引等结构化数据。数据文件以parquet格式存储，视频文件以mp4格式存储，总数据量为100MB，视频文件为200MB。

原始信息汇总

数据集概述

基本信息

• 数据集名称： BrunoM42/robocasa_target_TurnOffStove
• 创建工具： 使用LeRobot创建
• 许可证： Apache-2.0
• 任务类别： 机器人学
• 标签： LeRobot

数据集规模

• 总情节数： 500
• 总帧数： 114,027
• 总任务数： 8
• 数据块大小： 1000
• 帧率： 20 FPS
• 数据文件总大小： 100 MB
• 视频文件总大小： 200 MB

数据划分

• 训练集： 包含全部500个情节（索引范围：0:500）

数据结构与特征

数据存储为Parquet文件，视频存储为MP4文件。

观察特征

• observation.images.robot0_eye_in_hand： 视频数据，形状为[256, 256, 3]，编码为h264，像素格式为yuv420p，非深度图，无音频。
• observation.images.robot0_agentview_left： 视频数据，形状为[256, 256, 3]，编码为h264，像素格式为yuv420p，非深度图，无音频。
• observation.images.robot0_agentview_right： 视频数据，形状为[256, 256, 3]，编码为h264，像素格式为yuv420p，非深度图，无音频。
• observation.state： 浮点数组，形状为[16]，帧率为20 FPS。

动作与标注特征

• action： 浮点数组，形状为[12]，帧率为20 FPS。
• annotation.human.task_description： 整型数组，形状为[1]，帧率为20 FPS。
• annotation.human.task_name： 整型数组，形状为[1]，帧率为20 FPS。

元数据与索引特征

• next.reward： 浮点数组，形状为[1]，帧率为20 FPS。
• next.done： 布尔数组，形状为[1]，帧率为20 FPS。
• timestamp： 浮点数组，形状为[1]，帧率为20 FPS。
• frame_index： 整型数组，形状为[1]，帧率为20 FPS。
• episode_index： 整型数组，形状为[1]，帧率为20 FPS。
• index： 整型数组，形状为[1]，帧率为20 FPS。
• task_index： 整型数组，形状为[1]，帧率为20 FPS。

文件路径模式

• 数据文件路径模式： data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式： videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

代码库与机器人信息

• 代码库版本： v3.0
• 机器人类型： PandaOmron

引用信息

• 主页： 未提供
• 论文： 未提供
• BibTeX引用格式： 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_TurnOffStove数据集依托LeRobot平台构建，专注于模拟家庭环境中关闭炉灶的特定任务。数据采集过程涉及PandaOmron机器人执行500个完整操作序列，总计114,027帧图像，以20帧每秒的速率记录。观测数据包含机器人手眼视角与左右全局视角的三通道视频，均以256x256分辨率编码存储，同时整合了16维状态向量与12维动作指令，辅以任务描述与奖励信号，形成结构化的序列决策记录。

特点

该数据集以多模态感知与精细动作标注为显著特征，提供机器人手部嵌入式视觉与双路全局视角的同步视频流，确保环境交互的立体表征。数据维度涵盖连续状态空间与离散任务索引，每帧均关联时间戳与回合标识，支持端到端的策略学习与行为克隆研究。其数据组织采用分块存储机制，将大规模序列分割为千帧单元，平衡了存储效率与访问性能，适用于长时程任务的分析与建模。

使用方法

研究人员可通过加载Parquet格式的数据文件，直接访问分块存储的观测、动作与奖励序列，利用帧索引与回合标识实现特定任务片段的提取。数据集兼容主流强化学习框架，支持以20赫兹的时序分辨率重建机器人操作轨迹，用于训练视觉运动策略或评估模仿学习算法。视频流可通过指定路径解码，结合状态与动作数据，能够复现关闭炉灶任务的完整决策过程，为家庭服务机器人的技能泛化提供实证基础。

背景与挑战

背景概述

在机器人学习领域，面向家庭环境的操作任务一直是研究热点，旨在推动服务机器人在复杂场景中的实际应用。robocasa_target_TurnOffStove数据集由LeRobot团队构建，专注于关炉灶这一具体家务操作，其核心研究问题在于如何通过多模态感知与动作序列学习，使机器人能够安全、准确地完成涉及热源的危险性任务。该数据集收录了500个任务片段，包含超过11万帧图像及机器人状态数据，采用PandaOmron机械臂平台，以20帧每秒的速率采集手眼视角与全局视角的视觉信息，为模仿学习与强化学习算法提供了丰富的训练资源，对提升机器人在非结构化环境中的操作能力具有显著推动作用。

当前挑战

该数据集致力于解决家庭环境中机器人操作任务的挑战，特别是关炉灶这类涉及高温物体与精细动作的复杂问题。其核心挑战在于如何从高维视觉输入中提取有效特征，并生成精确、安全的动作序列，同时需应对环境光照变化、物体遮挡以及动作时序依赖等不确定性因素。在构建过程中，数据采集面临诸多困难，包括确保机器人操作的安全性以避免损坏设备或引发危险，同步多摄像头视频流与机器人状态数据的技术复杂性，以及标注大规模时序动作与任务描述的繁重工作。此外，数据集的规模与多样性仍需扩展，以覆盖更广泛的炉灶类型与操作场景，增强模型的泛化能力。

常用场景

经典使用场景

在机器人操作领域，robocasa_target_TurnOffStove数据集为模拟家庭环境中的炉灶关闭任务提供了丰富的演示数据。该数据集通过PandaOmron机器人采集了500个任务片段，包含多视角视觉观测、机器人状态和动作序列，为模仿学习与强化学习算法提供了标准化的训练与评估平台。研究人员能够利用这些数据训练模型理解复杂操作序列，例如精准识别炉灶开关并执行安全关闭动作，从而推动机器人自主执行日常家务任务的进展。

实际应用

在实际应用层面，robocasa_target_TurnOffStove数据集直接服务于家庭服务机器人的开发与优化。基于该数据集训练的模型能够被部署于智能家居系统，实现自动化安全监控，例如在检测到无人看管时自动关闭炉灶，预防火灾风险。此外，这些技术可扩展至养老辅助或残疾人生活支持场景，帮助完成烹饪后的清理工作，提升生活自主性与安全性，体现了机器人技术在民生领域的实用价值。

衍生相关工作

围绕该数据集，衍生了一系列经典研究工作，主要集中在视觉-动作策略学习与多任务泛化方面。例如，基于模仿学习的基准方法被广泛用于复现炉灶关闭任务，而后续研究则扩展至跨任务迁移学习，利用数据集中的多任务结构训练统一策略模型。这些工作不仅验证了数据集的可靠性，还推动了如LeRobot等开源机器人平台的算法迭代，为更复杂的家庭操作任务奠定了技术基础。