robocasa_target_MakeIceLemonade

该数据集是一个机器人学相关的数据集，使用LeRobot创建，采用Apache-2.0许可证。数据集包含512个episodes，总计657664帧，涉及1个任务，帧率为20fps。数据以parquet文件格式存储，分为训练集（0:512）。数据集包含多种视频和特征数据，视频数据分辨率为256x256，3通道，采用h264编码，yuv420p像素格式，无音频。特征数据包括机器人手眼视图、代理视图的左右图像、状态观测、动作、奖励、完成标志以及各种索引信息。数据文件总大小为100MB，视频文件总大小为200MB。适用于机器人控制、视觉导航等任务。

原始信息汇总

数据集概述

基本信息

• 数据集名称: robocasa_target_MakeIceLemonade
• 创建工具: LeRobot
• 许可协议: Apache-2.0
• 任务类别: 机器人学
• 标签: LeRobot

数据集规模

• 总任务数: 1
• 总情节数: 512
• 总帧数: 657,664
• 数据块大小: 1000
• 帧率: 20 FPS
• 数据文件总大小: 100 MB
• 视频文件总大小: 200 MB

数据划分

• 训练集: 包含所有512个情节。

数据结构与特征

数据以Parquet文件格式存储，视频以MP4格式存储。

观察特征

• observation.images.robot0_eye_in_hand: 视频数据，形状为[256, 256, 3]，编码为h264，像素格式为yuv420p，非深度图，无音频。
• observation.images.robot0_agentview_left: 视频数据，形状为[256, 256, 3]，编码为h264，像素格式为yuv420p，非深度图，无音频。
• observation.images.robot0_agentview_right: 视频数据，形状为[256, 256, 3]，编码为h264，像素格式为yuv420p，非深度图，无音频。
• observation.state: 浮点数组，形状为[16]。

动作与标注特征

• action: 浮点数组，形状为[12]。
• annotation.human.task_description: 整型数组，形状为[1]。
• annotation.human.task_name: 整型数组，形状为[1]。

元数据与状态特征

• next.reward: 浮点数组，形状为[1]。
• next.done: 布尔数组，形状为[1]。
• timestamp: 浮点数组，形状为[1]。
• frame_index: 整型数组，形状为[1]。
• episode_index: 整型数组，形状为[1]。
• index: 整型数组，形状为[1]。
• task_index: 整型数组，形状为[1]。

文件路径模式

• 数据文件路径模式: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件路径模式: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

机器人信息

• 机器人类型: PandaOmron
• 代码库版本: v3.0

引用信息

• 主页: 未提供
• 论文: 未提供
• BibTeX引用: 未提供

搜集汇总

数据集介绍

构建方式

在机器人操作任务的数据集构建领域，robocasa_target_MakeIceLemonade数据集依托LeRobot框架精心构建而成。该数据集聚焦于单一任务场景，通过PandaOmron机器人平台采集了512条完整的任务执行轨迹，总计包含超过65万帧数据。数据以分块形式组织，每块包含1000个数据点，并以Parquet格式高效存储，同时辅以MP4格式的视频记录，确保了多模态数据的完整性与可访问性。

特点

该数据集的核心特征在于其丰富的多模态观测与精确的动作标注。它提供了来自机器人手眼相机及两个固定视角的高分辨率RGB视频流，每帧图像尺寸统一为256x256，并以20帧每秒的速率同步捕获。数据集不仅包含了机器人的16维状态向量和12维动作指令，还整合了任务描述、奖励信号及终止标志等结构化注释，为模仿学习与强化学习算法提供了全面且时序对齐的训练基础。

使用方法

为有效利用该数据集进行机器人技能学习研究，用户需通过LeRobot代码库或兼容的数据加载接口进行访问。数据集已预划分为训练集，研究者可依据帧索引或片段索引提取所需的观测-动作对序列。典型的应用流程包括加载视频观测与对应的状态动作数据，用于训练端到端的策略模型或进行行为克隆分析。由于数据已按标准格式封装，能够便捷地集成到现有的机器学习管道中，加速家庭环境下复杂操作任务的算法开发与验证。

背景与挑战

背景概述

在机器人学习领域，家庭环境下的复杂任务执行一直是研究热点。robocasa_target_MakeIceLemonade数据集聚焦于机器人执行制作冰柠檬水的具体任务，由LeRobot项目团队基于PandaOmron机器人平台构建。该数据集包含512个完整交互序列，总计超过65万帧的多视角视觉与状态数据，旨在为机器人模仿学习与强化学习算法提供高质量的真实世界交互轨迹。其核心研究问题在于如何让机器人理解并完成涉及多步骤操作、物体交互及环境适应的日常家务任务，对推动服务机器人实用化具有重要价值。

当前挑战

该数据集致力于解决机器人模仿学习中长期存在的挑战，即如何从人类演示数据中泛化出鲁棒且可迁移的技能策略。具体而言，制作冰柠檬水任务涉及序列化操作、精细物体操控及动态环境适应，要求算法能处理高维视觉输入与连续动作空间的复杂映射关系。在构建过程中，挑战主要体现在多传感器数据的精确同步与标定、长时序交互轨迹的稳定采集，以及真实场景中光照变化、物体位姿不确定性等因素引入的噪声干扰，这些因素共同增加了数据质量保障与算法泛化能力验证的难度。

常用场景

经典使用场景

在机器人学习领域，robocasa_target_MakeIceLemonade数据集为模仿学习与强化学习算法提供了宝贵的实验平台。该数据集聚焦于家庭环境中的复杂操作任务，具体记录了PandaOmron机器人执行制作冰柠檬水的全过程，包含512个完整轨迹和超过65万帧的多视角视觉与状态数据。研究者可利用这些高维观测序列和动作标签，训练端到端的策略网络，使机器人能够从视觉输入中理解任务步骤，并生成精确的关节控制指令，从而在模拟或真实世界中复现这一系列精细的物体操控行为。

实际应用

robocasa_target_MakeIceLemonade数据集的实际价值体现在智能家居与服务机器人的开发中。基于此类数据训练的模型，能够赋能机器人执行诸如准备饮料、整理物品等日常家务，提升家庭自动化水平。在养老助残等场景，掌握类似复杂序列操作能力的机器人可协助完成生活自理任务，增强用户的独立性与生活质量。此外，数据集所蕴含的物体交互逻辑与环境动态信息，也为机器人安全规划、人机协作等工业应用提供了可迁移的知识与测试基准。

衍生相关工作

围绕该数据集及其所属的RoboCasa项目，已催生了一系列重要的学术工作。例如，基于大规模机器人数据集（如RoboNet、Bridge）的预训练视觉动力学模型研究，利用此类数据学习可迁移的物理交互先验。同时，它促进了以LeRobot为代表的开源机器人学习框架的发展，这些框架整合了数据管理、策略训练与仿真部署工具链。在算法层面，基于轨迹建模的行为克隆方法、结合语言指令的多任务学习架构，以及从离线数据中学习安全策略的算法，都常以此类真实世界数据集作为核心评估标准。