Habitat-Matterport 3D Dataset (HM3D)

Habitat-Matterport 3D Dataset (HM3D) 是一个大规模的3D重建数据集，包含1000个来自不同地理位置的真实世界建筑内部重建。该数据集由Facebook AI Research与Matterport合作创建，旨在推动具身AI的研究，特别是在视觉感知、导航和室内环境中的行为方面。HM3D数据集通过其高保真的3D重建和丰富的环境多样性，为训练和评估具身AI代理提供了优越的资源。数据集中的每个场景都是完整的建筑重建，如多层住宅、商店和其他私人室内空间，覆盖了超过112,500平方米的可导航空间，显著超越了现有数据集的规模和完整性。HM3D数据集的应用领域广泛，包括但不限于机器人导航、室内场景理解和虚拟现实。

Habitat-Matterport 3D Dataset (HM3D) is a large-scale 3D reconstruction dataset containing 1,000 real-world indoor architectural reconstructions sourced from diverse geographical locations. Co-developed by Facebook AI Research and Matterport, this dataset is designed to advance embodied AI research, particularly in the domains of visual perception, navigation, and behavioral tasks within indoor environments. Featuring high-fidelity 3D reconstructions and rich environmental diversity, HM3D serves as an exceptional resource for training and evaluating embodied AI agents. Each scene in the dataset is a complete architectural reconstruction, including multi-story residences, commercial shops, and other private indoor spaces, covering over 112,500 square meters of navigable space—far exceeding the scale and completeness of existing datasets. The HM3D dataset has a wide range of application scenarios, including but not limited to robotic navigation, indoor scene understanding, and virtual reality.

搜集汇总

数据集介绍

构建方式

在室内三维环境建模领域，Habitat-Matterport 3D数据集通过严谨的采集与筛选流程构建而成。该数据集利用Matterport Pro2深度传感器对全球38个国家、181个地理区域的真实室内空间进行扫描，涵盖多层住宅、商店等多种建筑类型。原始扫描数据经过Matterport公司提供的重建管线进行RGB-D数据对齐、表面网格化和纹理映射，生成带纹理的三维网格重建。为确保数据质量，研究团队实施了包含15名志愿者和3名专家参与的两阶段标注与验证流程，从更大规模的候选场景池中筛选出1000个场景，评估指标包括重建伪影、家具密度、空间连通性等维度，最终构建出总面积达112.5千平方米的高质量三维环境集合。

特点

该数据集在规模、完整性与视觉保真度方面展现出显著优势。其包含1000个建筑级重建场景，可导航面积达到112.5千平方米，较现有同类数据集扩大1.4至3.7倍，覆盖从单层到八层、房间数量从1至93不等的多样化建筑布局。在重建完整性方面，通过视点采样量化分析显示，HM3D场景的重建伪影比例较其他数据集降低34%至91%，有效减少了表面缺失或孔洞现象。视觉保真度评估表明，从HM3D渲染的图像与真实相机拍摄图像的FID/KID指标差距缩小20%至85%，呈现出更接近真实世界的纹理细节与光照效果。这些特性共同构成了该数据集在空间复杂度与视觉真实性方面的核心竞争力。

使用方法

该数据集专为具身智能研究设计，可与Habitat仿真平台无缝集成。研究人员可通过官方提供的元数据包快速加载三维场景，生成用于导航任务的训练与测试序列。在具体应用中，数据集支持点目标导航等经典任务的算法开发：智能体被随机放置在陌生环境中，根据相对坐标目标进行视觉导航。研究显示，在HM3D上训练的导航智能体展现出帕累托最优特性，在HM3D、Gibson和MP3D等多个测试集上均取得最优性能，其成功率达到100%的完美表现。该数据集还提供标准化的训练/验证/测试划分方案，包含800万训练序列和2500个测试序列，支持大规模分布式训练与跨环境泛化能力评估。

背景与挑战

背景概述

Habitat-Matterport 3D Dataset (HM3D) 由 Facebook AI Research 等机构于2021年提出，旨在为具身智能研究提供大规模、高保真的真实世界室内三维重建数据。该数据集包含来自38个国家、1000个建筑尺度的三维网格重建场景，涵盖多楼层住宅、商店等多种室内空间类型，总可导航面积达112.5千平方米，在物理规模、重建完整性和视觉逼真度上均超越了先前如MP3D、Gibson等数据集。HM3D的构建推动了具身智能代理在视觉导航等任务中的训练与评估，其高多样性与高质量特性显著提升了智能体在跨环境泛化中的性能表现，成为该领域的重要基准资源。

当前挑战

HM3D致力于解决具身智能中视觉导航等任务的数据瓶颈，其核心挑战在于如何获取大规模且高质量的真实世界三维重建数据。先前数据集如Gibson和MP3D在规模、重建完整性或视觉逼真度上存在局限，常因表面缺失、孔洞等重建伪影影响智能体训练效果。在构建过程中，HM3D面临数据采集的多样性与代表性挑战，其扫描依赖于特定传感器与用户贡献，可能引入地理与经济偏差；同时，三维重建流程需克服纹理缺失、结构不完整等问题，并通过人工标注与验证确保场景质量，这一过程耗费大量人力与计算资源，凸显了大规模高质量三维数据构建的复杂性。

常用场景

经典使用场景

在具身智能领域，Habitat-Matterport 3D数据集（HM3D）为视觉导航任务提供了卓越的仿真训练平台。其核心应用场景在于训练智能体执行点目标导航任务，即智能体在未知室内环境中，仅凭视觉传感器输入与相对坐标信息，自主规划路径抵达指定位置。HM3D凭借其大规模、高保真度的建筑级三维重建，为智能体提供了接近真实世界的复杂空间布局与视觉多样性，成为评估导航算法性能的黄金标准。

衍生相关工作

HM3D作为基准数据集，催生了一系列围绕具身智能导航的深入研究。基于其训练的智能体在PointNav任务上展现了帕累托最优性能，即在HM3D、Gibson、MP3D等多个测试集上均取得最佳或极具竞争力的表现。这推动了后续工作探索更复杂的语义导航任务，如物体目标导航和场景重排。同时，其与Habitat仿真平台的无缝集成，也促进了仿真引擎与训练框架的协同优化与发展。

数据集最近研究

最新研究方向

在具身智能领域，Habitat-Matterport 3D Dataset (HM3D) 凭借其大规模、高保真度的建筑级三维重建，正推动导航任务向更复杂、更真实的场景演进。当前研究聚焦于利用HM3D的帕累托最优特性，训练智能体在跨数据集评估中展现卓越的泛化能力，尤其在PointGoal导航任务上，HM3D训练的智能体在Gibson和MP3D测试集上均达到领先性能。这一进展不仅验证了数据规模与质量对具身智能的关键作用，也为语义导航、物体重排等高级任务奠定了坚实基础，标志着室内三维环境建模从区域重建迈向完整建筑仿真的新阶段。

相关研究论文

• Habitat-Matterport 3D Dataset (HM3D): 1000 Large-scale 3D Environments for Embodied AI

  Facebook AI Research · 2021年