robocasa_pretrain_human300_v4_annotated5

该数据集是一个用于机器人学领域的大规模、多模态预训练数据集，使用LeRobot工具集创建。数据集旨在支持机器人视觉-动作策略学习、模仿学习及相关模型的训练与预训练。数据内容主要来源于RoboCasa模拟环境或真实机器人平台，记录了机器人在执行各类任务过程中的交互数据。核心数据以“观测-动作”对的形式组织：观测部分包含三个固定视角（左代理视角、右代理视角、手眼视角）的RGB视频流，分辨率均为256x256，帧率为20 FPS；同时包含一个16维的浮点型机器人状态向量。动作部分对应一个12维的浮点型控制指令向量。此外，数据集中还包含了时间戳、帧索引、回合索引和任务索引等元数据，用于标识数据在时间线和任务上下文中的位置。数据集规模庞大，总计包含32,043个完整的任务执行回合（episodes），覆盖4,740种不同的任务，累计帧数超过2,900万帧。数据以Parquet文件格式分块存储，便于高效读取与处理。该数据集适用于需要大规模、多视角视觉输入与连续动作输出配对数据的机器人学习研究，特别是基于端到端学习的策略网络训练、行为克隆以及作为机器人基础模型的预训练数据源。

This is a large-scale multimodal pre-training dataset for robotics, developed using the LeRobot toolset. The dataset is designed to support the training and pre-training of robotic vision-action policy learning, imitation learning, and other related models. The data is primarily collected from the RoboCasa simulation environment or real robotic platforms, capturing interaction data generated as robots execute various tasks. The core data is organized in the form of "observation-action" pairs: the observation section includes RGB video streams from three fixed perspectives (left agent view, right agent view, eye-in-hand view), all with a resolution of 256×256 and a frame rate of 20 FPS, and also incorporates a 16-dimensional floating-point robot state vector. The action section corresponds to a 12-dimensional floating-point control command vector. Additionally, the dataset includes metadata such as timestamps, frame indices, episode indices, and task indices, which serve to identify the temporal and task context of each data entry. The dataset has a substantial scale, containing a total of 32,043 complete task execution episodes spanning 4,740 distinct tasks, with a cumulative total of over 29 million frames. The data is stored in chunked Parquet file format to enable efficient reading and processing. This dataset is suitable for robotics learning research that requires paired data of large-scale multi-view visual inputs and continuous action outputs, particularly for end-to-end policy network training, behavioral cloning, and as a pre-training data source for robotic foundation models.

原始信息汇总

数据集概述

• 数据集名称: robocasa_pretrain_human300_v4_annotated5
• 数据集地址: https://huggingface.co/datasets/pepijn223/robocasa_pretrain_human300_v4_annotated5
• 许可协议: Apache-2.0
• 任务类别: 机器人学 (robotics)
• 标签: LeRobot, lerobot, robocasa, unified, pretrain, human

数据集结构

基本信息

• 代码版本: v3.0
• 帧率 (FPS): 20
• 机器人类型: robocasa

规模统计

• 总片段数 (episodes): 32,043
• 总帧数 (frames): 29,106,226
• 总任务数 (tasks): 4,740
• 数据分块大小 (chunks_size): 1,000
• 数据文件大小: 100 MB
• 视频文件大小: 200 MB

数据集划分

• 训练集 (train): 索引 0 至 32,043

数据特征 (Features)

观测图像 (Observation Images)

包含三组视频数据，分辨率均为 256×256 像素，3 通道 (RGB)，编码格式为 H.264，帧率 20 FPS：

1. robot0_agentview_left: 左侧视角
2. robot0_agentview_right: 右侧视角
3. robot0_eye_in_hand: 手部视角 (eye-in-hand)

动作 (Action)

• 数据类型: float32
• 维度: 12
• 帧率: 20 FPS

观测状态 (Observation State)

• 数据类型: float32
• 维度: 16
• 帧率: 20 FPS
• 状态名称: state_0 至 state_15

其他特征

• timestamp: float32，形状 [1]
• frame_index: int64，形状 [1]
• episode_index: int64，形状 [1]
• index: int64，形状 [1]
• task_index: int64，形状 [1]

数据文件路径

• 数据文件: data/chunk-{chunk_index:03d}/file-{file_index:03d}.parquet
• 视频文件: videos/{video_key}/chunk-{chunk_index:03d}/file-{file_index:03d}.mp4

创建工具

该数据集使用 LeRobot 框架创建。

搜集汇总

数据集介绍

构建方式

该数据集基于LeRobot框架构建，采集自RoboCasa仿真环境中的机器人操作任务。数据通过人类遥操作方式获取，共计包含32,043个有效片段，覆盖4,740种不同任务。每个片段以20帧每秒的采样率记录，并存储为Parquet格式的结构化数据与H.264编码的视频文件。多视角视觉信息通过机器人左侧、右侧及手部摄像头以256×256分辨率捕捉，同时记录12维动作向量与16维机器人状态信息，形成完整的观测-动作对。

特点

数据集的核心特点在于其规模与多样性的统一，总计超过2,900万帧的视觉-运动数据为机器人策略学习提供了坚实基础。多摄像头视角的设计使模型能够从不同空间位置感知环境信息，增强对复杂场景的理解能力。数据中同时包含精确的时间戳、帧索引与任务标签，便于进行时间序列建模与任务条件化策略训练。

使用方法

使用者可通过LeRobot库的Dataset接口加载数据，配置对应的视频编码与特征映射后，直接获取格式化的观测与动作张量。数据集已预设训练/验证划分，支持按批次抽取图像序列与状态向量进行模仿学习或强化学习训练。建议利用数据集中提供的任务索引实现多任务策略的联合训练，并通过调整fps参数适应不同采样频率的需求。

背景与挑战

背景概述

随着机器人学习领域的蓬勃发展，大规模、高质量的训练数据成为推动具身智能体从仿真走向现实的关键瓶颈。在此背景下，robocasa_pretrain_human300_v4_annotated5数据集于近期由Hugging Face社区借助LeRobot框架创建，旨在为机器人操作技能的学习提供统一的预训练资源。该数据集隶属于RoboCasa系列，专注于人类演示数据的采集与标注，核心研究问题在于如何利用多样化、高频率的传感器信息（包括多视角视觉与机器人状态）来训练机器人完成复杂的日常操作任务。数据集内包含超过3万个片段、近3000万帧图像，覆盖4740种任务，规模宏大，为模仿学习、行为克隆及多任务泛化研究提供了坚实的基准，对推动机器人从特定任务执行向通用技能习得的范式转变具有重要影响力。

当前挑战

该数据集所面临的挑战主要体现在两个层面。在领域问题层面，机器人操作任务固有的高维连续动作空间、部分可观测环境以及任务间的巨大差异性，使得从演示数据中鲁棒地学习通用策略异常困难，尤其是如何跨场景、跨物体类别实现有效迁移，仍是亟待攻克的难题。在数据集构建层面，挑战则集中于数据质量的一致性保障与多模态信息的同步校准：尽管数据集预设了各类传感器之规格，但真实采集过程中光照变化、遮挡及传感器噪声不可避免地引入数据偏差；同时，对包含256×256分辨率视频、12维动作向量及16维状态向量的高采样率（20帧/秒）数据进行高效存储、检索与加载，也对其基础设施与压缩策略提出了严苛要求。

常用场景

经典使用场景

在机器人学习领域，RoboCasa作为一套大规模、多样化的家用机器人操作数据集，其预训练版本——robocasa_pretrain_human300_v4_annotated5——尤为适用于模仿学习与离线强化学习的基准测试。该数据集汇聚了超过三万条人类演示的机器人操作轨迹，涵盖了近五千种家庭任务，诸如拾取放置、开门、整理物品等。研究者通过该数据集中的多视角视觉观测（包括机器人左右视野及手部摄像头）与高维状态动作序列，能够训练出具备泛化能力的策略模型，使其在未见过的场景与物体上仍能表现出色。该数据集结构标准化，遵循LeRobot格式，便于直接导入各类算法框架，是推动通用家庭服务机器人从仿真走向现实的关键基础设施。

解决学术问题

该数据集精准回应了机器人学习领域长期面临的“数据匮乏”与“场景单一”两大核心难题。传统机器人数据集往往规模有限、任务种类稀少，导致训练出的策略模型在真实家庭环境中泛化能力脆弱。本数据集通过提供超过三万个高质量的人类演示片段，覆盖4740项不同任务，使研究者能够在海量、异构的数据上探索跨任务表示学习、域迁移以及长期规划等前沿课题。其标准化结构还支持研究“视觉-运动”联合表征的涌现机制，推动了行为克隆、逆强化学习及模型预测控制等范式在复杂家居场景中的理论验证与性能突破，加速了通用机器人智能体的科学探索进程。

衍生相关工作

围绕该数据集已衍生出多项具有影响力的研究工作。最典型的是基于其全量数据构建的预训练视觉运动基础模型，直接复现了类似RT-1、Octo等通用策略的微调实验范式。研究者利用该数据集验证了联合多任务训练对零样本泛化能力的显著增益，相关成果见诸于机器人顶级会议（如CoRL、ICRA）。此外，数据集中独特的任务标签体系催生了专注于任务导向表示学习的工作，部分团队通过在其上对比不同行为克隆损失函数，提出了更高效的策略训练框架。还有工作将本数据集作为下游评测基准，用以衡量大规模仿真数据预训练策略向真实世界迁移的效能，充分体现了该数据集在社区中的枢纽地位与学术辐射力。