ember-lab-berkeley/robocasa365-pretrain-mg

该数据集名为Pretraining (MimicGen) — atomic，是RoboCasa365集合的一部分，主要用于机器人领域的预训练任务。数据集包含60个原子任务的模拟生成滚动数据，每个任务大约有10,000个演示，总计1,615小时的数据。这些数据是通过脚本增强从人类演示中生成的。数据集的具体统计信息包括536,030个片段，116,246,439帧（20 fps），720个自然语言表述的任务（基于60个RoboCasa任务类）。数据集还详细描述了摄像头的配置、机器人的类型以及加载数据集的方法。This dataset, named Pretraining (MimicGen) — atomic, is part of the RoboCasa365 collection, and is primarily used for pre-training tasks in the robotics field. It contains simulated generated rollout data for 60 atomic tasks, with approximately 10,000 demonstrations per task, totaling 1,615 hours of data. These data are generated from human demonstrations via script augmentation. Specific statistical information of the dataset includes 536,030 segments, 116,246,439 frames (20 fps), and 720 natural language task descriptions based on 60 RoboCasa task categories. The dataset also provides detailed descriptions of camera configurations, robot types, and the method for loading the dataset.

搜集汇总

数据集介绍

构建方式

本数据集robocasa365-pretrain-mg源自RoboCasa365系列，专注于机器人操控领域的预训练任务。其构建基于MimicGen技术，通过脚本化增强方法从人类示范中自动生成大量演示数据，覆盖60个原子任务，每个任务约包含10,000条轨迹，总计约536,030个回合和1,615小时的连续运动数据，以Parquet格式存储，便于高效加载与处理。

使用方法

数据集的使用方法直观便捷，推荐通过LeRobot库加载，用户仅需调用LeRobotDataset函数并传入数据集标识即可快速获取。数据遵循统一的特征模式，包括观察状态（含基座位置、四元数、末端执行器相对位姿及夹爪关节位置）与动作（含基底运动、控制模式、末端执行器位移及夹爪驱动），支持直接用于机器人模仿学习或预训练模型的训练，无需额外预处理。

背景与挑战

背景概述

RoboCasa365-Pretrain-MG数据集由加州大学伯克利分校Ember Lab于2025年创建，专注于机器人操作领域的预训练研究。该数据集针对60个原子任务，通过MimicGen脚本化数据增强技术，从人类演示中生成约60万条示范轨迹，总时长超过1600小时。作为RoboCasa365集合的核心组件，它提供了标准化的家居机器人操作场景，涵盖720种自然语言任务描述和3个视角的视觉观测。其在ICLR 2026发表的论文中展示了大规模仿真数据对机器人策略泛化能力的显著提升，为多任务机器人学习建立了重要基准，推动从单一任务训练向通用操作智能的范式转变。

当前挑战

该数据集面临的核心挑战在于解决机器人领域数据稀缺与任务泛化的矛盾。传统方法依赖昂贵的人工遥控演示，而RoboCasa365通过MimicGen合成数据扩展了覆盖范围，但合成数据与真实物理世界的分布差异可能导致策略迁移时的域适应问题。构建过程中，自动化数据增强需平衡任务多样性与轨迹质量——60个原子任务需生成约60万条有效片段，同时确保机器人基座与机械臂的混合控制模式（通过control_mode字段区分）在脚本中准确执行，这对状态动作空间的合理建模提出高要求，特别是16维状态向量与12维动作向量的数学关系需严格对应真实物理约束以避免累积误差。

常用场景

经典使用场景

在机器人学习领域，大规模、多样化的示范数据集是训练通用操作策略的基石。RoboCasa365-Pretrain-MG作为RoboCasa365系列的核心预训练数据集，其最经典的使用场景是用于训练视觉-运动控制策略的初始预训练阶段。该数据集包含来自60个原子任务的约53.6万条示范轨迹，累计时长超过1600小时，覆盖了丰富的家庭操作技能。研究者通常利用该数据集在仿真环境中预训练一个通用的“行为克隆”或“模仿学习”模型，让机器人掌握诸如抓取、放置、开合抽屉等基础操作的原语表征。预训练后的策略可以作为强有力的初始化参数，再迁移到下游的特定任务中进行微调，从而显著降低从零训练的学习难度与样本需求。这一范式已被广泛验证为提升机器人泛化能力与样本效率的有效途径。

解决学术问题

该数据集在学术层面主要解决了机器人学习中数据稀缺性和任务多样性不足的核心瓶颈。传统机器人学习研究常受限于每个任务仅有少量人工采集的示范，导致模型在未见过的环境或物体上泛化能力极差。RoboCasa365-Pretrain-MG通过结合MimicGen自动数据增强技术，从少量人类示范出发，生成了覆盖60个原子操作类别、720种自然语言描述的任务变体，提供了数量级上的数据规模突破。研究者可基于此系统性地探索大规模模仿学习中的策略表征能力、跨任务迁移机制以及多模态融合效果。该数据集的出现，使得学术界能够从碎片化的单任务训练范式转向统一的预训练-微调范式，推动了机器人基础模型（Robotic Foundation Model）的相关研究，并对策略在复杂家庭场景下的零样本或少样本泛化能力评估提供了标准化基准。

实际应用

从实际应用角度来看，该数据集为家庭服务机器人的商业化落地提供了坚实的训练基础。具体而言，使用RoboCasa365-Pretrain-MG预训练的策略可以直接部署到配备7自由度Panda机械臂和Omron移动底盘的机器人平台上，执行客厅、厨房等典型家庭环境中的常见操作。例如，机器人可以通过视觉输入识别桌面上的杯子，并执行“抓取杯子放到托盘上”这一复合指令，整个过程涉及导航、定位、抓取与放置的连续规划。该数据集涵盖的多样任务组合使机器人能够应对家庭环境中物体的布局变化、光照差异和物品替换。此外，产业界可以借鉴该数据集的设计思路，结合自身采集的特定场景数据微调模型，实现高度定制化的家庭助手功能，如协助老年人取物、整理杂物等，从而加速机器人从实验室走向千家万户的进程。

数据集最近研究

最新研究方向

RoboCasa365-Pretrain-MG数据集聚焦于机器人操作领域的预训练范式，通过MimicGen数据增强技术从人类示范中生成大规模原子任务轨迹，覆盖60个基础任务类别且每个任务包含约1万条示范，总时长达1615小时。该数据集依托LeRobot v3.0标准格式，集成多视角视觉输入与混合移动基座控制信号，为具身智能体在复杂家居场景中的泛化学习提供了高保真训练资源。其发布紧密关联机器人基础模型与零样本迁移学习的前沿探索，尤其在任务组合与长程操作规划中展现出显著潜力，推动了从仿真到真实环境跨场景部署的范式革新，对构建通用机器人操作知识库具有里程碑意义。