OMMO dataset

OMMO数据集是由复旦大学和腾讯PCG联合创建的大型户外多模态数据集，包含33个复杂场景，配有校准图像、点云和文本提示注释。数据集通过收集和精选大量真实航拍视频，设计质量审查模块，自动评估结合人工审查，移除低质量帧和校准失败的场景。志愿者还为每个场景和关键帧添加了文本描述。与现有数据集相比，OMMO数据集包含丰富的真实世界城市和自然场景，具有多种尺度、相机轨迹和光照条件，适用于新颖视图合成、表面重建和多模态NeRF等任务，旨在推动大规模户外场景的NeRF研究。

The OMMO Dataset is a large-scale outdoor multimodal dataset jointly developed by Fudan University and Tencent PCG. It encompasses 33 complex scenarios, with calibrated images, point clouds and text prompt annotations as accompanying data. The dataset is constructed via collecting and curating a large volume of real aerial videos, where a quality review module is designed, and low-quality frames and scenarios with failed calibration are removed through a combination of automatic evaluation and manual review. Volunteers have additionally added text descriptions for each scenario and key frame. Compared with existing datasets, the OMMO Dataset features rich real-world urban and natural scenarios with diverse scales, camera trajectories and lighting conditions. It is suitable for tasks such as novel view synthesis, surface reconstruction and multimodal NeRF, and aims to advance NeRF research on large-scale outdoor scenes.

搜集汇总

数据集介绍

构建方式

OMMO数据集的构建始于对大量真实飞视图像的捕获与收集，从这些视频中选取高质高分辨率的片段。随后，通过基于学习自动评估和人工审查相结合的质量审查模块，对图像进行细化，移除低质量帧和无法校准的场景。最后，由志愿者为每个场景和关键帧添加文本描述。该数据集的构建过程旨在为大规模户外场景重建提供高质量、多模态的数据支持。

使用方法

OMMO数据集的使用方法包括下载、数据准备和模型训练。用户可以从OMMO官网下载数据集和模型权重。在数据准备阶段，用户需要根据任务需求对数据进行分割和预处理。在模型训练阶段，用户可以使用OMMO数据集训练和评估NeRF模型。OMMO数据集支持多种NeRF方法，并提供了详细的文档和代码示例，方便用户使用。

背景与挑战

背景概述

OMMO数据集是在2023年由复旦大学和腾讯PCG联合提出的，旨在解决大型室外场景重建中缺乏统一数据集的问题。该数据集包含了33个场景，共14,700张校准图像，以及文本描述和标签等，为NeRF（Neural Radiance Fields）相关任务提供了丰富多样的数据支持。OMMO数据集的提出，填补了大型室外场景NeRF研究中的空白，对于推动NeRF技术在室外场景中的应用具有重要意义。

当前挑战

OMMO数据集的构建过程中面临着诸多挑战。首先，大型室外场景的数据采集和校准成本较高，需要解决高效、低成本的数据采集和校准问题。其次，室外场景的复杂性和多样性给数据标注带来了挑战，需要设计有效的标注方法以确保数据质量。此外，OMMO数据集还需要解决NeRF方法在低光照、雨雾等复杂条件下的性能问题。最后，如何利用OMMO数据集构建统一的标准，对NeRF方法进行公正的评价，也是一项挑战。

常用场景

经典使用场景

OMMO数据集主要用于大规模户外场景重建和视图合成。它包含校准图像、点云和多模态注释，为NeRF（神经辐射场）等隐式神经表示方法提供了丰富的数据支持。该数据集适用于评估和比较不同NeRF方法在户外场景中的性能，并推动大规模NeRF研究的发展。

解决学术问题

OMMO数据集解决了现有NeRF数据集在户外场景重建方面存在的不足。现有数据集大多针对室内场景或单个物体，缺乏大规模户外场景的数据支持。OMMO数据集提供了33个真实世界的户外场景，包含14K张校准图像，为户外场景的NeRF研究提供了宝贵的资源。此外，OMMO数据集还提供了多模态数据，为多模态NeRF研究提供了可能。

实际应用

OMMO数据集在实际应用中具有广泛的前景。例如，在虚拟现实和增强现实领域，OMMO数据集可以用于创建逼真的户外场景，提供更加沉浸式的体验。在自动驾驶领域，OMMO数据集可以用于训练和评估自动驾驶车辆的感知系统，提高其识别和导航能力。此外，OMMO数据集还可以用于城市规划和建筑设计等领域，帮助人们更好地理解和规划城市环境。

数据集最近研究

最新研究方向

OMMO数据集作为大规模室外多模态数据集，旨在推进大型场景的NeRF研究。该数据集包含校准图像、点云和提示性注释，为诸如新视角合成、表面重建和多模态NeRF等任务提供了新的基准。OMMO数据集的引入填补了现有NeRF数据集在数量和多样性方面的不足，并提供了统一的基准测试标准。该数据集的生成流程不仅包括从网络视频中收集高质量和高分辨率的片段，还设计了质量审核模块以去除低质量的帧和未校准的场景。此外，OMMO数据集的获取方法具有成本效益，可以灵活地从互联网上获取视频并将其转换为NeRF训练数据，从而实现数据集的可扩展性。实验结果表明，OMMO数据集可以很好地支持大多数最先进的NeRF方法，并在不同的任务中提供基准测试。该数据集的发布将进一步推动NeRF在大规模室外场景中的应用和研究。

相关研究论文

• A Large-Scale Outdoor Multi-modal Dataset and Benchmark for Novel View Synthesis and Implicit Scene Reconstruction

  复旦大学 腾讯PCG · 2023年