Replica Dataset|室内场景重建数据集|机器学习数据集

Replica数据集由Facebook Reality Labs创建，包含18个高分辨率和高动态范围（HDR）的室内场景重建。每个场景包含密集网格、高分辨率HDR纹理、每基元的语义类别和实例信息，以及平面镜和玻璃反射器。数据集旨在支持依赖于视觉、几何和语义真实生成模型的机器学习研究，如第一人称计算机视觉、2D和3D语义分割、几何推理和具身代理的开发。由于Replica渲染的高度真实性，训练于该数据集的ML系统有望直接转移到真实世界的图像和视频数据。

AI搜集汇总

数据集介绍

构建方式

Replica数据集的构建采用了自定义的RGB-D捕获装置，通过融合时间同步的IMU、RGB、IR和宽角灰度传感器数据，使用SLAM系统进行6自由度位姿估计，并利用深度数据进行表面重建。随后，通过标准化的Marching Cubes算法提取网格，使用Instant Meshes算法简化网格，并通过PTex-like系统进行纹理映射。对于平面反射器和孔洞，采用手动修复和自动检测填充的方法，确保了模型的高质量。语义标注则通过渲染图像进行2D标注，然后融合到3D网格中，并进行细化修正。

特点

Replica数据集的特点在于其高分辨率和高动态范围的纹理，以及详细的语义类和实例标注。它包含18个高保真的室内场景重建，每个场景都包含密集网格、高分辨率HDR纹理、语义类和实例分割信息，以及可渲染的平面镜和玻璃反射器。数据集的多样性体现在场景类型和对象实例上，涵盖了88个语义类，为机器学习任务提供了丰富的学习材料。

使用方法

使用Replica数据集时，可以通过GitHub上的官方仓库获取数据集和最小的C++ SDK。数据集与AI Habitat兼容，可以直接用于训练和测试具身智能体。推荐使用AI Habitat进行渲染，该平台支持RGB、深度、语义实例和语义类分割图像的渲染，并且可以与PyTorch深度学习框架无缝集成。

背景与挑战

背景概述

Replica数据集是一个包含18个高质量室内空间三维重建的场景数据集，由Facebook Reality Labs和Facebook AI Research团队共同创建。该数据集旨在为机器学习研究提供视觉、几何和语义上真实的世界模型，适用于第一人称计算机视觉、语义分割、几何推理以及Embodied Agents（虚拟机器人）的导航、指令跟随和问答等任务。Replica数据集的特点是高分辨率和高动态范围（HDR）纹理、每原语的语义类和实例分割，以及可渲染的平面镜和玻璃反射器。该数据集的创建时间为2019年，主要研究人员包括Julian Straub、Thomas Whelan、Lingni Ma等，影响力遍及计算机视觉、机器人学、虚拟现实等多个领域。

当前挑战

Replica数据集在构建过程中遇到的挑战包括：1) 如何在高分辨率下实现室内空间的三维重建；2) 如何精确地进行语义分割，包括平面镜和玻璃反射器的标注；3) 如何处理数据集收集、处理、清洗和语义标注中的各种问题；4) 如何确保数据集的质量和实用性，以便机器学习系统能够在现实世界图像和视频数据上直接迁移。此外，Replica数据集在解决领域问题（例如，Embodied Agents的导航、指令跟随和问答等）时面临的挑战包括：如何模拟真实世界的复杂性和多样性，以及如何评估和改进Embodied Agents在真实世界中的表现。

常用场景

经典使用场景

Replica数据集是一个包含18个高保真室内场景重建的数据库，每个场景都由密集的网格、高分辨率高动态范围（HDR）纹理、每个原语的语义类和实例信息以及平面镜和玻璃反射器组成。其经典使用场景包括egocentric计算机视觉、2D和3D的语义分割、几何推断以及Embodied Agents（虚拟机器人）的导航、指令跟随和问题回答等任务。

衍生相关工作

Replica数据集的发布促进了相关领域的研究，如AI Habitat平台的发展，该平台可以直接使用Replica数据集进行Embodied AI的研究。此外，Replica数据集也激发了更多关于室内场景理解、机器人导航和虚拟现实的研究工作。

数据集最近研究

最新研究方向

Replica数据集为室内空间的三维重建提供了高度逼真的模型，其研究方向主要集中在利用这些模型进行机器学习任务，如自我中心计算机视觉、二维和三维的语义分割、几何推理以及开发能够进行导航、指令跟随和问题回答的具身智能体（虚拟机器人）。数据集的高逼真度使得基于Replica训练的机器学习系统能够直接转移到现实世界的图像和视频数据中。

相关研究论文

• The Replica Dataset: A Digital Replica of Indoor Spaces

  Facebook Reality Labs · 2019年