Replica Dataset

Replica数据集由Facebook Reality Labs创建，包含18个高分辨率和高动态范围（HDR）的室内场景重建。每个场景包含密集网格、高分辨率HDR纹理、每基元的语义类别和实例信息，以及平面镜和玻璃反射器。数据集旨在支持依赖于视觉、几何和语义真实生成模型的机器学习研究，如第一人称计算机视觉、2D和3D语义分割、几何推理和具身代理的开发。由于Replica渲染的高度真实性，训练于该数据集的ML系统有望直接转移到真实世界的图像和视频数据。

The Replica dataset was created by Facebook Reality Labs, and contains 18 high-resolution, high dynamic range (HDR) indoor scene reconstructions. Each scene includes dense meshes, high-resolution HDR textures, per-primitive semantic category and instance information, as well as planar mirrors and glass reflectors. The dataset is designed to support machine learning research that relies on visually, geometrically, and semantically realistic generative models, such as first-person computer vision, 2D and 3D semantic segmentation, geometric reasoning, and the development of embodied AI agents. Owing to the high realism of Replica's rendered outputs, ML systems trained on this dataset are expected to transfer directly to real-world image and video data.

搜集汇总

数据集介绍

构建方式

Replica数据集的构建采用了自定义的RGB-D捕获装置，通过融合时间同步的IMU、RGB、IR和宽角灰度传感器数据，使用SLAM系统进行6自由度位姿估计，并利用深度数据进行表面重建。随后，通过标准化的Marching Cubes算法提取网格，使用Instant Meshes算法简化网格，并通过PTex-like系统进行纹理映射。对于平面反射器和孔洞，采用手动修复和自动检测填充的方法，确保了模型的高质量。语义标注则通过渲染图像进行2D标注，然后融合到3D网格中，并进行细化修正。

特点

Replica数据集的特点在于其高分辨率和高动态范围的纹理，以及详细的语义类和实例标注。它包含18个高保真的室内场景重建，每个场景都包含密集网格、高分辨率HDR纹理、语义类和实例分割信息，以及可渲染的平面镜和玻璃反射器。数据集的多样性体现在场景类型和对象实例上，涵盖了88个语义类，为机器学习任务提供了丰富的学习材料。

使用方法

使用Replica数据集时，可以通过GitHub上的官方仓库获取数据集和最小的C++ SDK。数据集与AI Habitat兼容，可以直接用于训练和测试具身智能体。推荐使用AI Habitat进行渲染，该平台支持RGB、深度、语义实例和语义类分割图像的渲染，并且可以与PyTorch深度学习框架无缝集成。

背景与挑战

背景概述

Replica数据集是一个包含18个高质量室内空间三维重建的场景数据集，由Facebook Reality Labs和Facebook AI Research团队共同创建。该数据集旨在为机器学习研究提供视觉、几何和语义上真实的世界模型，适用于第一人称计算机视觉、语义分割、几何推理以及Embodied Agents（虚拟机器人）的导航、指令跟随和问答等任务。Replica数据集的特点是高分辨率和高动态范围（HDR）纹理、每原语的语义类和实例分割，以及可渲染的平面镜和玻璃反射器。该数据集的创建时间为2019年，主要研究人员包括Julian Straub、Thomas Whelan、Lingni Ma等，影响力遍及计算机视觉、机器人学、虚拟现实等多个领域。

当前挑战

Replica数据集在构建过程中遇到的挑战包括：1) 如何在高分辨率下实现室内空间的三维重建；2) 如何精确地进行语义分割，包括平面镜和玻璃反射器的标注；3) 如何处理数据集收集、处理、清洗和语义标注中的各种问题；4) 如何确保数据集的质量和实用性，以便机器学习系统能够在现实世界图像和视频数据上直接迁移。此外，Replica数据集在解决领域问题（例如，Embodied Agents的导航、指令跟随和问答等）时面临的挑战包括：如何模拟真实世界的复杂性和多样性，以及如何评估和改进Embodied Agents在真实世界中的表现。

常用场景

经典使用场景

Replica数据集是一个包含18个高保真室内场景重建的数据库，每个场景都由密集的网格、高分辨率高动态范围（HDR）纹理、每个原语的语义类和实例信息以及平面镜和玻璃反射器组成。其经典使用场景包括egocentric计算机视觉、2D和3D的语义分割、几何推断以及Embodied Agents（虚拟机器人）的导航、指令跟随和问题回答等任务。

衍生相关工作

Replica数据集的发布促进了相关领域的研究，如AI Habitat平台的发展，该平台可以直接使用Replica数据集进行Embodied AI的研究。此外，Replica数据集也激发了更多关于室内场景理解、机器人导航和虚拟现实的研究工作。

数据集最近研究

最新研究方向

Replica数据集为室内空间的三维重建提供了高度逼真的模型，其研究方向主要集中在利用这些模型进行机器学习任务，如自我中心计算机视觉、二维和三维的语义分割、几何推理以及开发能够进行导航、指令跟随和问题回答的具身智能体（虚拟机器人）。数据集的高逼真度使得基于Replica训练的机器学习系统能够直接转移到现实世界的图像和视频数据中。

相关研究论文

• The Replica Dataset: A Digital Replica of Indoor Spaces

  Facebook Reality Labs · 2019年