BrunoM42/robocasa_target_TurnOffStove

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "PandaOmron", "total_episodes": 500, "total_frames": 114027, "total_tasks": 8, "chunks_size": 1000, "fps": 20, "splits": { "train": "0:500" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.images.robot0_eye_in_hand": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 20, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "observation.images.robot0_agentview_left": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 20, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "observation.images.robot0_agentview_right": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 20, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "annotation.human.task_description": { "dtype": "int64", "shape": [ 1 ], "fps": 20 }, "annotation.human.task_name": { "dtype": "int64", "shape": [ 1 ], "fps": 20 }, "observation.state": { "dtype": "float64", "shape": [ 16 ], "fps": 20 }, "action": { "dtype": "float64", "shape": [ 12 ], "fps": 20 }, "next.reward": { "dtype": "float32", "shape": [ 1 ], "fps": 20 }, "next.done": { "dtype": "bool", "shape": [ 1 ], "fps": 20 }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null, "fps": 20 }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 } }, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200 } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```许可证: apache-2.0 任务类别: - 机器人学 标签: - LeRobot 配置项: - 配置名称: 默认 数据文件: data/*/*.parquet 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 - **主页:** [需补充更多信息] - **论文:** [需补充更多信息] - **许可证:** apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "PandaOmron", "总情节数": 500, "总帧数": 114027, "总任务数": 8, "分块大小": 1000, "帧率": 20, "数据集划分": { "训练集": "0:500" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "特征项": { "观测.图像.机器人0手眼相机": { "数据类型": "video", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道" ], "视频信息": { "视频.帧率": 20, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "是否包含音频": false }, "详细信息": { "视频.高度": 256, "视频.宽度": 256, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 20, "视频.通道数": 3, "是否包含音频": false } }, "观测.图像.机器人0左侧代理视角": { "数据类型": "video", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道" ], "视频信息": { "视频.帧率": 20, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "是否包含音频": false }, "详细信息": { "视频.高度": 256, "视频.宽度": 256, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 20, "视频.通道数": 3, "是否包含音频": false } }, "观测.图像.机器人0右侧代理视角": { "数据类型": "video", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道" ], "视频信息": { "视频.帧率": 20, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "是否包含音频": false }, "详细信息": { "视频.高度": 256, "视频.宽度": 256, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 20, "视频.通道数": 3, "是否包含音频": false } }, "标注.人类.任务描述": { "数据类型": "int64", "形状": [ 1 ], "帧率": 20 }, "标注.人类.任务名称": { "数据类型": "int64", "形状": [ 1 ], "帧率": 20 }, "观测.状态": { "数据类型": "float64", "形状": [ 16 ], "帧率": 20 }, "动作": { "数据类型": "float64", "形状": [ 12 ], "帧率": 20 }, "后续奖励": { "数据类型": "float32", "形状": [ 1 ], "帧率": 20 }, "后续终止标记": { "数据类型": "bool", "形状": [ 1 ], "帧率": 20 }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "情节索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 } }, "数据文件总大小（兆字节）": 100, "视频文件总大小（兆字节）": 200 } ## 引用 **BibTeX格式:** bibtex [More Information Needed]

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_TurnOffStove数据集通过LeRobot平台精心构建，专注于模拟关闭炉灶这一具体家务任务。该数据集采集了500个完整操作片段，总计超过11万帧数据，以每秒20帧的速率记录。数据以分块形式存储，每个块包含1000帧，采用Parquet格式高效组织，同时配有对应的MP4视频文件，确保了原始视觉信息的完整性。构建过程中使用了PandaOmron型号机器人，从手眼相机和左右代理视角同步捕获256x256分辨率的RGB图像，并结合机器人的状态、动作及任务标注信息，形成了一套结构化的多模态时序数据集。

特点

该数据集的核心特点在于其多视角、高帧率的视觉观测与精细的动作标注相结合。视觉数据方面，提供了机器人手眼相机视角以及左右两个代理视角的同步视频流，每个视角均为256x256分辨率的三通道图像，编码为H.264格式，无深度信息与音频。状态与动作数据以浮点型数组呈现，分别包含16维状态向量与12维动作向量，并附带有奖励、完成标志等强化学习关键信号。数据集整体规模适中，数据文件约100MB，视频文件约200MB，所有特征均以20Hz统一采样，确保了时序对齐，为模型训练提供了高度一致且信息丰富的输入源。

使用方法

为有效利用该数据集进行机器人技能学习研究，使用者可通过加载Parquet数据文件访问结构化的观测、动作及标注信息。数据集已预设为训练集，涵盖全部500个片段，研究者可依据帧索引、片段索引等元数据灵活划分验证集。在具体应用中，多视角视频序列可用于训练视觉表征模型或端到端的策略网络，而同步的状态与动作数据则支持模仿学习或强化学习算法的训练。数据加载后，需注意保持20Hz的时序一致性，并合理处理图像、状态与动作之间的对应关系，以构建有效的状态-动作对用于模型优化。

背景与挑战

背景概述

在机器人学习领域，模拟真实世界复杂操作任务的数据集对于推动具身智能的发展至关重要。robocasa_target_TurnOffStove数据集作为RoboCasa项目的一部分，专注于厨房环境中关闭炉灶这一特定操作，旨在为机器人提供精细动作控制与多模态感知的学习资源。该数据集由LeRobot平台构建，采用PandaOmron机器人采集了500个任务片段，包含超过11万帧的多视角视觉数据与状态动作序列，其核心研究问题在于如何让机器人理解并执行涉及安全与精确性的日常家务操作，对家庭服务机器人的技能泛化与安全部署具有重要影响力。

当前挑战

该数据集致力于解决机器人操作任务中的两大挑战：在领域问题层面，关闭炉灶要求机器人具备对动态热源的安全感知、精确的末端执行器定位以及对旋钮力学反馈的适应性控制，这些挑战考验着模型在复杂物理交互中的鲁棒性与决策能力。在构建过程中，数据采集面临真实环境下的高维度多模态数据同步、任务执行的一致性与安全性保障，以及大规模视频与状态数据的存储与标注效率等难题，这些因素共同构成了数据集构建的技术壁垒。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_TurnOffStove数据集为研究者在家庭环境中执行具体任务提供了宝贵资源。该数据集聚焦于关闭炉灶这一典型家庭操作，通过PandaOmron机器人采集了包含多视角视频、状态观测及动作序列的交互数据。这些数据以高帧率记录，涵盖了从视觉感知到动作执行的完整闭环，为模仿学习与强化学习算法提供了标准化的训练与评估基准，尤其适用于需要精细操作和场景理解的任务。

实际应用

在实际应用层面，robocasa_target_TurnOffStove数据集直接服务于家庭服务机器人的开发。基于此类数据训练的模型，能够使机器人安全地执行厨房环境中的危险操作，如关闭明火或电热源，从而提升家庭自动化水平与安全保障。这为开发适应复杂动态环境的鲁棒性控制系统奠定了基础，并有望延伸至老年辅助、智能家居等更广泛的服务场景。

衍生相关工作

围绕该数据集，已衍生出一系列专注于机器人操作学习的经典研究工作。这些工作通常利用其丰富的多视角视频和动作序列，开发先进的模仿学习框架、离线强化学习算法以及视觉运动策略网络。相关研究不仅验证了数据集中任务的有效性，还进一步扩展了其在多任务学习、少样本适应以及仿真到真实迁移等方向的应用，持续丰富了机器人学习领域的知识体系。