robocasa_target_RinseSinkBasin

该数据集由LeRobot创建，适用于机器人技术领域。数据集采用Apache-2.0许可协议，包含509个episodes，总计211036帧数据。数据集结构以parquet文件组织，包含视频和数值数据。视频数据来自机器人不同视角的观察（如robot0_eye_in_hand、robot0_agentview_left和robot0_agentview_right），分辨率为256x256，帧率为20fps，编码格式为h264。数值数据包括机器人状态观察（16维浮点数）、动作（12维浮点数）、奖励（1维浮点数）等。数据集还包含时间戳、帧索引、episode索引等信息。该数据集适用于机器人控制、强化学习等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: BrunoM42/robocasa_target_RinseSinkBasin
• 创建工具: LeRobot
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集结构

• 配置名称: default
• 数据文件格式: Parquet
• 数据文件路径模式: data/*/*.parquet
• 元信息文件: meta/info.json

元信息详情

• 代码库版本: v2.1
• 机器人类型: PandaOmron
• 总任务数: 1
• 总视频数: 1527
• 总片段数: 1
• 片段大小: 1000
• 帧率: 20 FPS
• 数据分割: 训练集 (0:509)

数据规模

• 总情节数: 509
• 总帧数: 211036

特征字段

视频观测特征

• observation.images.robot0_eye_in_hand:
  • 数据类型: 视频
  • 形状: [256, 256, 3]
  • 视频编码: h264
  • 像素格式: yuv420p
  • 非深度图，无音频
• observation.images.robot0_agentview_left:
  • 数据类型: 视频
  • 形状: [256, 256, 3]
  • 视频编码: h264
  • 像素格式: yuv420p
  • 非深度图，无音频
• observation.images.robot0_agentview_right:
  • 数据类型: 视频
  • 形状: [256, 256, 3]
  • 视频编码: h264
  • 像素格式: yuv420p
  • 非深度图，无音频

状态与动作特征

• observation.state:
  • 数据类型: float64
  • 形状: [16]
• action:
  • 数据类型: float64
  • 形状: [12]
• next.reward:
  • 数据类型: float32
  • 形状: [1]
• next.done:
  • 数据类型: bool
  • 形状: [1]

标注特征

• annotation.human.task_description:
  • 数据类型: int64
  • 形状: [1]
• annotation.human.task_name:
  • 数据类型: int64
  • 形状: [1]

索引与时间特征

• timestamp:
  • 数据类型: float32
  • 形状: [1]
• frame_index:
  • 数据类型: int64
  • 形状: [1]
• episode_index:
  • 数据类型: int64
  • 形状: [1]
• index:
  • 数据类型: int64
  • 形状: [1]
• task_index:
  • 数据类型: int64
  • 形状: [1]

文件路径模式

• 数据路径: data/chunk-{episode_chunk:03d}/episode_{episode_index:06d}.parquet
• 视频路径: videos/chunk-{episode_chunk:03d}/{video_key}/episode_{episode_index:06d}.mp4

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作学习领域，robocasa_target_RinseSinkBasin数据集通过LeRobot平台精心构建。该数据集记录了PandaOmron机械臂执行单一任务（冲洗水槽盆）的完整操作序列，共包含509个独立情节，总计211,036帧数据。数据以每秒20帧的速率采集，并采用Parquet格式高效存储，确保了时序动作与多视角视觉观测的精确对齐。每个情节均被分割为视频片段与结构化特征数据，为模仿学习与强化学习算法提供了高质量的轨迹示范。

使用方法

研究人员可通过HuggingFace平台直接加载该数据集，利用其预定义的数据结构进行高效访问。数据集已按训练集完整划分，用户可依据情节索引或帧索引提取对应的视频流与特征张量。典型的应用流程包括：解析Parquet文件获取动作-观测对，结合视频解码器实时可视化操作过程，并利用标注信息训练或评估机器人策略模型。该数据集兼容主流机器学习框架，适用于行为克隆、离线强化学习等多种算法范式的实验验证。

背景与挑战

背景概述

在机器人学习领域，模拟真实世界复杂操作任务的数据集对于推动具身智能发展至关重要。robocasa_target_RinseSinkBasin数据集依托LeRobot平台构建，专注于机器人执行厨房环境中的水槽清洗任务。该数据集由HuggingFace社区发布，采用Apache 2.0许可协议，收录了PandaOmron机器人执行的509条任务轨迹，涵盖超过21万帧多视角视觉观测与动作序列。其核心研究问题在于解决机器人对非结构化家居场景的感知与操作泛化能力，通过高质量演示数据为模仿学习与强化学习算法提供基准，对家庭服务机器人的技能迁移研究具有显著推动作用。

当前挑战

该数据集旨在解决机器人操作任务中动态环境适应与精细动作规划的挑战，具体体现为水槽区域内物体位姿估计、流体模拟交互以及多模态感知融合的复杂性。构建过程中面临数据采集一致性与标注效率的双重考验，需在真实物理仿真中保持传感器同步精度，同时处理高维度视觉动作数据的存储与检索优化。此外，任务演示的多样性与安全性约束进一步增加了数据集的构建难度，要求平衡操作成功率与场景覆盖广度。

常用场景

经典使用场景

在机器人操作学习领域，robocasa_target_RinseSinkBasin数据集为模拟家庭环境中的精细操作任务提供了关键资源。该数据集聚焦于机器人清洗水槽盆这一具体场景，通过多视角视觉数据与状态动作序列的同步记录，典型应用于训练机器人执行基于视觉的端到端操作策略。研究者可利用其丰富的视频帧与动作标签，构建模型以理解动态环境中的物体交互，实现从感知到控制的闭环学习，为机器人自主完成日常家务任务奠定实验基础。

解决学术问题

该数据集致力于解决机器人学中泛化性与样本效率的核心挑战。通过提供大规模、结构化的真实世界操作数据，它缓解了仿真与现实之间的差距，使研究人员能够探索数据驱动的强化学习与模仿学习算法。其意义在于推动了机器人操作技能的迁移学习研究，促进了多模态感知与运动规划的结合，为开发适应复杂非结构化环境的智能体提供了实证支撑，加速了家庭服务机器人的实用化进程。

实际应用

在实际应用层面，robocasa_target_RinseSinkBasin数据集直接服务于家庭自动化与智能服务机器人的开发。基于该数据集训练的模型可部署于具备类似机械臂的机器人平台，执行厨房清洁、餐具冲洗等重复性劳动，减轻人力负担。其高质量的动作示范有助于提升机器人的操作精度与鲁棒性，推动机器人从工业固定场景向动态家庭环境的拓展，为养老助残、智能家居等社会需求提供技术解决方案。

数据集最近研究

最新研究方向

在机器人操作领域，家庭环境下的精细任务执行正成为研究焦点。robocasa_target_RinseSinkBasin数据集聚焦于厨房场景中的水槽清洗任务，其多视角视觉数据与状态动作序列为模仿学习与强化学习算法提供了丰富资源。当前前沿研究致力于利用此类大规模真实世界交互数据，训练端到端的视觉运动策略模型，以提升机器人在非结构化环境中的泛化能力与鲁棒性。该数据集与LeRobot等开源生态的结合，加速了社区对复杂长周期任务的数据驱动方法探索，推动了服务机器人向更自主、更实用的方向发展。