BrunoM42/robocasa_target_TurnOnSinkFaucet

--- license: apache-2.0 task_categories: - robotics tags: - LeRobot configs: - config_name: default data_files: data/*/*.parquet --- This dataset was created using [LeRobot](https://github.com/huggingface/lerobot). ## Dataset Description - **Homepage:** [More Information Needed] - **Paper:** [More Information Needed] - **License:** apache-2.0 ## Dataset Structure [meta/info.json](meta/info.json): ```json { "codebase_version": "v3.0", "robot_type": "PandaOmron", "total_episodes": 506, "total_frames": 113688, "total_tasks": 1, "chunks_size": 1000, "fps": 20, "splits": { "train": "0:506" }, "data_path": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "video_path": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "features": { "observation.images.robot0_eye_in_hand": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 20, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "observation.images.robot0_agentview_left": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 20, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "observation.images.robot0_agentview_right": { "dtype": "video", "shape": [ 256, 256, 3 ], "names": [ "height", "width", "channel" ], "video_info": { "video.fps": 20, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "has_audio": false }, "info": { "video.height": 256, "video.width": 256, "video.codec": "h264", "video.pix_fmt": "yuv420p", "video.is_depth_map": false, "video.fps": 20, "video.channels": 3, "has_audio": false } }, "annotation.human.task_description": { "dtype": "int64", "shape": [ 1 ], "fps": 20 }, "annotation.human.task_name": { "dtype": "int64", "shape": [ 1 ], "fps": 20 }, "observation.state": { "dtype": "float64", "shape": [ 16 ], "fps": 20 }, "action": { "dtype": "float64", "shape": [ 12 ], "fps": 20 }, "next.reward": { "dtype": "float32", "shape": [ 1 ], "fps": 20 }, "next.done": { "dtype": "bool", "shape": [ 1 ], "fps": 20 }, "timestamp": { "dtype": "float32", "shape": [ 1 ], "names": null, "fps": 20 }, "frame_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "episode_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 }, "task_index": { "dtype": "int64", "shape": [ 1 ], "names": null, "fps": 20 } }, "data_files_size_in_mb": 100, "video_files_size_in_mb": 200 } ``` ## Citation **BibTeX:** ```bibtex [More Information Needed] ```许可证: Apache-2.0 任务类别: - 机器人学 标签: - LeRobot 配置: - 配置名称: 默认 数据文件: data/*/*.parquet 本数据集基于[LeRobot](https://github.com/huggingface/lerobot)构建。 ## 数据集说明 - **主页：** [有待补充更多信息] - **论文：** [有待补充更多信息] - **许可证：** Apache-2.0 ## 数据集结构 [meta/info.json](meta/info.json): json { "代码库版本": "v3.0", "机器人类型": "PandaOmron", "总任务回合数": 506, "总帧数": 113688, "总任务数": 1, "分块大小": 1000, "帧率": 20, "数据集划分": { "训练集": "0:506" }, "数据路径格式": "data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet", "视频路径格式": "videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4", "数据特征": { "观测.图像.机械臂0手部相机": { "数据类型": "video", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "视频信息": { "视频.帧率": 20, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "是否含音频": false }, "详细信息": { "视频.高度": 256, "视频.宽度": 256, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 20, "视频.通道数": 3, "是否含音频": false } }, "观测.图像.机械臂0左侧全局相机": { "数据类型": "video", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "视频信息": { "视频.帧率": 20, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "是否含音频": false }, "详细信息": { "视频.高度": 256, "视频.宽度": 256, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 20, "视频.通道数": 3, "是否含音频": false } }, "观测.图像.机械臂0右侧全局相机": { "数据类型": "video", "形状": [ 256, 256, 3 ], "维度名称": [ "高度", "宽度", "通道数" ], "视频信息": { "视频.帧率": 20, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "是否含音频": false }, "详细信息": { "视频.高度": 256, "视频.宽度": 256, "视频.编码格式": "h264", "视频.像素格式": "yuv420p", "视频.是否为深度图": false, "视频.帧率": 20, "视频.通道数": 3, "是否含音频": false } }, "标注.人工.任务描述": { "数据类型": "int64", "形状": [ 1 ], "帧率": 20 }, "标注.人工.任务名称": { "数据类型": "int64", "形状": [ 1 ], "帧率": 20 }, "观测.状态": { "数据类型": "float64", "形状": [ 16 ], "帧率": 20 }, "动作": { "数据类型": "float64", "形状": [ 12 ], "帧率": 20 }, "下一时刻奖励": { "数据类型": "float32", "形状": [ 1 ], "帧率": 20 }, "下一时刻终止标记": { "数据类型": "bool", "形状": [ 1 ], "帧率": 20 }, "时间戳": { "数据类型": "float32", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "帧索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "回合索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "全局索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 }, "任务索引": { "数据类型": "int64", "形状": [ 1 ], "维度名称": null, "帧率": 20 } }, "数据文件总大小（MB）": 100, "视频文件总大小（MB）": 200 } ## 引用 **BibTeX格式：** bibtex [有待补充更多信息]

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_TurnOnSinkFaucet数据集依托LeRobot框架构建，专注于模拟家庭环境中打开水龙头的精细操作任务。该数据集通过PandaOmron机器人平台采集，总计包含506条完整操作序列，以20帧每秒的速率记录，生成超过11万帧的多视角视觉与状态数据。数据以分块Parquet格式存储，每块约1000帧，确保了高效的数据管理与访问，同时辅以MP4格式的视频流，完整保留了机器人眼在手与全局视角的RGB图像序列。

特点

该数据集的核心特征在于其多模态与结构化设计，不仅提供机器人本体状态与动作向量，还整合了三个独立摄像头的同步视觉观测。图像数据统一为256x256分辨率的三通道格式，采用H.264编码，确保了视觉信息的清晰度与压缩效率。数据标注涵盖任务描述、奖励信号及终止标志，支持强化学习与模仿学习的算法验证。其统一的时序对齐与分块存储机制，为大规模机器人技能学习提供了可靠且易于扩展的数据基础。

使用方法

研究人员可通过加载Parquet数据文件直接访问结构化观测、动作及奖励序列，结合配套视频文件进行视觉验证与分析。数据集已预设训练分割，适用于端到端策略学习、行为克隆或离线强化学习等任务。利用帧索引与时间戳字段，可精确对齐多模态数据流，而任务索引与描述信息则支持特定操作的定向研究。该数据集兼容主流机器人学习库，能够高效支撑算法在仿真与实际迁移中的性能评估。

背景与挑战

背景概述

在机器人操作领域，模拟真实世界中的精细动作执行是推动具身智能发展的关键。robocasa_target_TurnOnSinkFaucet数据集由LeRobot项目团队创建，专注于单一任务——开启水龙头，旨在为机器人学习提供高质量、多视角的演示数据。该数据集包含506个完整交互序列，总计超过11万帧图像，采用Franka Emika Panda机器人搭配Omron传感器在模拟环境中采集。其核心研究问题在于如何通过视觉与状态观测数据，训练机器人理解并执行日常环境中的复杂操作，为模仿学习与强化学习算法提供了宝贵的基准资源，对家庭服务机器人的实用化进程具有显著推动作用。

当前挑战

该数据集致力于解决机器人操作中基于视觉的精细动作生成挑战，具体任务为开启水龙头，这要求模型从多视角图像序列中推断出精确的抓取位置与旋转力度。构建过程中的挑战体现在多个层面：数据采集需在模拟环境中确保物理交互的真实性与多样性，以覆盖不同水龙头形态与初始状态；多模态数据对齐要求严格的时间同步，涉及手眼相机、全局视角与机器人状态信息的融合；大规模视频数据的存储与高效检索也构成了工程上的难点，需平衡数据质量与处理开销。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_TurnOnSinkFaucet数据集为研究机器人执行精细操作任务提供了关键资源。该数据集聚焦于模拟家庭环境中开启水龙头的动作，通过PandaOmron机器人采集了506个完整操作序列，包含多视角视频与状态动作数据。其经典使用场景在于训练和评估机器人视觉运动策略，特别是基于模仿学习或强化学习的方法，使机器人能够从视觉输入中理解并执行复杂的抓取与旋转操作。数据集的结构化设计支持端到端策略学习，为机器人泛化到真实世界任务奠定了基础。

解决学术问题

该数据集有效解决了机器人学中视觉运动控制与任务泛化的核心学术问题。通过提供高质量的多模态演示数据，它助力研究者探索如何将高维视觉观测映射到连续动作空间，从而克服传统方法在动态环境中的适应性局限。数据集的意义在于推动了基于数据的机器人策略学习，促进了模仿学习与强化学习的融合，为机器人执行日常操作任务提供了可复现的实验基准，对提升机器人的自主性与实用性具有深远影响。

衍生相关工作

围绕该数据集，已衍生出多项经典研究工作，主要集中在机器人策略学习与多任务泛化方向。例如，基于LeRobot框架的研究者利用此类数据开发了高效的视觉运动策略模型，探索了跨场景的迁移学习能力。这些工作不仅提升了机器人执行单一任务的精度，还扩展了其对类似操作任务的适应性，推动了机器人学习社区在仿真到真实迁移领域的进展，为更复杂的机器人行为学习开辟了新路径。