ω-HOME

ω-HOME是一个面向真实世界家庭场景的仿人机器人数据集，由南洋理工大学、北京大学、北京智源人工智能研究院和香港科技大学(广州)联合创建，旨在为同时进行移动与操作的全身协调行为提供多模态监督。该数据集包含超过40小时的同步多视角RGB-D观测、全身SMPL人体运动、机器人本体状态及全身动作潜变量，并提供丰富的语言指令标注。数据通过控制器重放与人类演示转移相结合的方式精心采集，并经过仿真验证与筛选以确保机器人可执行性。ω-HOME可广泛应用于仿人机器人全身控制的模仿学习、视觉-语言-动作模型训练及世界-动作模型研究，致力于解决真实家庭场景中同时移动与操作这一关键挑战。ω-HOME is a humanoid robot dataset tailored for real-world household scenarios, co-developed by Nanyang Technological University, Peking University, Beijing Academy of Artificial Intelligence, and The Hong Kong University of Science and Technology (Guangzhou). It is designed to provide multi-modal supervision for whole-body coordinated behaviors involving simultaneous locomotion and manipulation. This dataset includes over 40 hours of synchronized multi-view RGB-D observations, whole-body SMPL human motion, robot proprioceptive states, and whole-body action latent variables, alongside rich language instruction annotations. The data was meticulously collected through a combination of controller replay and human demonstration transfer, and validated and filtered via simulation to ensure robot executability. ω-HOME can be widely applied to imitation learning for humanoid robot whole-body control, vision-language-action model training, and world-action model research, and is dedicated to addressing the critical challenge of simultaneous locomotion and manipulation in real-world household scenarios.

原始信息汇总

数据集概述：ω-HOME

基本信息

• 数据集名称：ω-HOME
• 所属项目：ω-0（OMEGA-0），一个面向人形机器人并发移动-操作任务的潜在预测世界动作模型
• 数据集规模：总时长 40.3 小时，包含 24 个任务，共 4,827 个 episode
• 数据集状态：WIP（制作中）

任务类型分布

任务类别	占比
家电操作	25.0%
容器转移	17.6%
表面擦拭	11.1%
桌面整理	10.6%
悬挂/铺展	7.0%
大物体操作	6.1%
移动携物放置	5.2%
地面物体拾取	4.6%
衣物取回	4.5%
床上用品操作	3.0%
关节物体操作	2.0%
地板工具操作	1.3%

任务时长 Top 5

1. Put beverage in lower fridge — 3.8 小时
2. Classify gadgets — 3.5 小时
3. Retrieve from upper fridge — 2.9 小时
4. Hang clothes — 2.8 小时
5. Collect fruits from closet — 2.8 小时

同步采集模态（共 6 种）

1. 第一视角 RGB（Egocentric RGB）
2. 第三视角 RGB（Exocentric RGB）
3. 第三视角深度（Exocentric depth）
4. 机器人状态（Robot state）
5. 全身运动数据（Whole-body motion，SMPL格式）
6. 动作潜变量（Action latents）

数据特点

• 专为全身移动-操作（loco-manipulation）任务设计
• 包含多视角同步观测
• 数据采集过程与SONIC控制器兼容，可支持真实机器人执行
• 涵盖 24 种真实家庭环境任务（如擦桌子、拖地、从冰箱取物、洗衣、整理收纳、推椅子、与人类协作移动桌子、清洁床铺、抽屉操作等）
• 支持跨物体（cross-object）与跨场景（cross-scene）泛化评估
• 任务分为三类：标准（Standard）、跨物体（Cross-object）、跨场景（Cross-scene）

搜集汇总

数据集介绍

构建方式

ω-HOME数据集构建于真实家庭环境中，通过SONIC遥操作协议，由人类操作员穿戴Pico VR头显、手持控制器和足部追踪器，配合ZED Mini与ZED深度相机，同步采集了40.3小时的演示数据，涵盖4,827个回合和24项任务。每段轨迹均包含语言指令、第一视角RGB、第三视角RGB-D、本体感觉状态、全身SMPL运动参考及控制器兼容的动作潜在表示。采集后的数据经标准化处理，统一运动表示并过滤不可靠轨迹，确保高质量的监督信号。

使用方法

ω-HOME可用于训练和评估人形机器人全身世界-动作模型。在阶段2预训练中，数据与公开人类运动数据结合，通过仿真回放生成机器人可执行的动作监督。阶段3则利用真实轨迹微调模型，支持多视角输入和未来视觉潜在预测。评估时，可依据包含成功率和任务进度等指标的协议，对11项下游任务进行验证。数据集还支持消融研究，如检验状态条件、视觉潜在预测和训练时块切分等组件的贡献，为模型设计和选择提供指导。

背景与挑战

背景概述

ω-HOME数据集由北京大学、南洋理工大学、北京智源人工智能研究院及香港科技大学（广州）的研究团队于2026年构建，旨在解决人形机器人在真实家庭环境中进行并发移动操作（loco-manipulation）的数据稀缺问题。该数据集包含40.3小时、4827段示范，覆盖24项任务，同步采集第一视角RGB、第三视角RGB-D、全身SMPL运动、机器人本体感知状态及控制器兼容的动作隐变量，为训练和评估全身世界动作模型（如ω-0）提供了多模态监督信号。其核心研究问题在于突破传统将移动与操作分离的策略范式，推动人形机器人学习连贯的全身协调行为，在物体抓取、表面清洁、家电交互等11项真实任务中展现出显著优势，对提升人形机器人在非结构化家庭环境中的自主作业能力具有重要推动作用。

当前挑战

ω-HOME面临的挑战体现在多个层面。在领域问题层面，人形机器人家庭任务要求同时进行移动、姿态调整、平衡保持与物体操作，而现有策略常将移动与操作解耦，难以实现真正的全身协调；同时，多数世界动作模型以视频重建为中心，在真实场景中受遮挡、视角变化影响易产生时序不一致，影响动作稳定性。在数据构建层面，真实人形示范采集成本高昂，而人类视频数据与机器人状态、控制器动作表示空间不匹配，需要通过仿真重放将人类运动转化为可执行的动作隐变量，并过滤物理上不可行的轨迹，过程复杂且依赖控制器性能。此外，多模态数据同步、不同数据集运动表示的标准化以及大规模数据的高效处理也是构建过程中的重要难点。

常用场景

经典使用场景

ω-HOME数据集作为首个大规模真实世界人形机器人家庭并发移动操作数据集，其经典使用场景聚焦于训练和评估能够同时进行 locomotion 与 manipulation 的全身世界动作模型。该数据集提供了40余小时、涵盖24项任务的同步多视角观测、全身SMPL运动、机器人本体感受状态及控制器兼容的动作隐变量，为研究人形机器人在真实家庭环境中的并发移动操作提供了宝贵的数据基础。研究者可利用该数据集训练和测试诸如ω-0这样的潜空间预测模型，从而在无需任务特定策略或解耦控制模块的前提下，实现语言条件驱动的全身协调行为。此外，该数据集还支持跨视角（第一人称与第三人称）的视觉条件训练，以及对新对象、新场景和跨形态数据迁移的泛化性能评估，是推动人形机器人从实验室走向家庭应用的不可或缺的关键资源。

解决学术问题

ω-HOME数据集解决了当前人形机器人研究中真实世界移动操作数据匮乏的难题，填补了现有数据集多局限于桌面操作或解耦式移动与操作的空白。通过提供同步的多模态数据，该数据集支持了世界动作模型（WAM）从视频生成范式向潜空间预测范式的转变，使得模型能够在无需重建未来视频的情况下，利用紧凑的未来观测嵌入监督全身动作生成，从而有效解决了因噪声视频预测导致的时间不一致和全身协调不稳定问题。此外，该数据集还促进了利用人类动作数据通过模拟回放转换为机器人可执行动作的跨域迁移研究，为缓解真实机器人数据收集成本高昂提供了新思路，极大地推动了全身控制、视觉-语言-动作学习以及潜空间世界建模等前沿学术方向的发展。

实际应用

在实际应用中，ω-HOME数据集直接服务于家庭服务机器人的开发，特别是在需要同时移动与操作的场景，如擦桌子、拖地、取物、整理衣物等日常家务。基于该数据集训练的ω-0模型已在11项真实世界家庭任务中展现出优越性能，实现了平滑的边移动边操作行为，显著优于多种基线方法。该数据集支持从第一人称和第三人称视觉进行灵活的条件输入，增强了机器人在复杂动态环境中的感知与执行能力，为机器人从实验室走向真实家庭环境提供了可靠的技术验证和数据支撑。未来，该数据集有望进一步应用于智能家居、辅助老人护理、自主清洁等领域，推动人形机器人成为真正意义上的家庭助手。

数据集最近研究

最新研究方向

ω-HOME数据集聚焦于真实世界人形机器人协同移动-操作（loco-manipulation）的前沿研究，通过收集40余小时的多模态家庭环境数据，涵盖多视角RGB-D观测、全身SMPL运动、机器人本体感知状态及控制器兼容的动作隐变量，为训练统一的世界-动作模型提供丰富监督。该数据集支撑了ω-0模型的开发，其创新性地采用潜在预测范式，将未来视觉嵌入预测与扩散式全身动作生成相结合，避免了视频生成的复杂性与不确定性，从而在11项真实家庭任务中显著超越现有模仿学习、视觉-语言-动作模型及世界-动作模型基线。这一研究方向不仅推动了人形机器人在动态家庭场景中的协调操作能力，还展示了利用人类数据跨具身迁移的可能性，为人形机器人从实验室走向实际应用奠定了重要数据与算法基础。

相关研究论文

• $ω$-0: A Latent Predictive World Action Model for Concurrent Humanoid Loco-Manipulation

  南洋理工大学; 北京大学; 北京智源人工智能研究院; 香港科技大学(广州) · 2026年