MatrixCity

MatrixCity数据集是由香港中文大学和上海人工智能实验室联合创建的大型城市数据集，专注于城市规模神经渲染研究。该数据集通过Unreal Engine 5收集了高质量的大规模城市场景图像，覆盖了28km²的总面积，包括67k空中图像和452k街道图像。数据集不仅包含RGB图像，还提供了深度图、法线图等多种属性，支持深度估计和逆向渲染等任务。MatrixCity数据集的创建过程利用了Unreal Engine 5的强大功能，实现了对环境因素如光照、天气和人流的灵活控制，为城市规模神经渲染研究提供了丰富的动态场景和环境控制能力。该数据集的应用领域广泛，包括航空测绘、虚拟现实、电影制作和游戏开发等，旨在解决城市规模场景的真实感渲染问题。

The MatrixCity Dataset is a large-scale urban dataset jointly created by The Chinese University of Hong Kong and Shanghai AI Laboratory, focusing on urban-scale neural rendering research. It collects high-quality large-scale urban scene images via Unreal Engine 5, covering a total area of 28 km², including 67k aerial images and 452k street images. In addition to RGB images, the dataset also provides multiple attributes such as depth maps and normal maps, supporting tasks including depth estimation and inverse rendering. The development of the MatrixCity Dataset leverages the powerful capabilities of Unreal Engine 5 to enable flexible control over environmental factors such as lighting, weather, and pedestrian flow, providing rich dynamic scenes and environmental control capabilities for urban-scale neural rendering research. This dataset has a wide range of application fields, including aerial surveying and mapping, virtual reality, film production, game development and more, aiming to solve the problem of photorealistic rendering of urban-scale scenes.

搜集汇总

数据集介绍

构建方式

MatrixCity数据集的构建依托于Unreal Engine 5的City Sample项目，该项目提供了丰富的城市细节，包括精细的纹理和几何结构，以及逼真的光照、阴影效果和准确的相机姿态。为了收集数据，研究团队开发了一个插件，该插件可以自动从Unreal Engine 5提供的两个城市地图中捕获数据，分别产生了172k和347k张图像。这些图像覆盖了相当于2.7km2和25.3km2的实地面积。为了更好地捕捉建筑细节，团队将城市地图按建筑高度分为10个区域，并使用电影渲染队列插件进行渲染，以确保图像质量。此外，插件还提供了对环境因素的灵活控制，包括光照、天气、人群密度等，以支持各种任务的需求。

特点

MatrixCity数据集具有以下几个显著特点：1）高质量：利用Unreal Engine 5的高级图形技术构建，确保了图像的逼真性和相机姿态的准确性。2）大规模和多样性：数据集包含来自两个城市地图的67k张航拍图像和452k张街道图像，覆盖了多样化的城市景观，反映了真实城市的复杂性和异质性。3）可控环境：插件允许灵活控制各种环境因素，如光照角度、强度、雾的密度以及人群流动，以模拟真实世界的动态场景。4）多属性：插件可以提取深度图、法线图以及反射率的分解成分，如漫反射、镜面反射、金属质感等，支持深度估计、反渲染等任务。

使用方法

MatrixCity数据集可用于城市级神经渲染研究以及其他扩展任务。研究人员可以利用该数据集训练和评估各种神经渲染方法，探索城市级场景重建的挑战和机遇。数据集还支持深度估计、反渲染等任务，并通过提取深度图、法线图等属性，为更深入的研究提供了可能。此外，数据集的动态环境控制功能可以帮助研究人员模拟真实世界的场景，并研究不同因素对神经渲染训练过程的影响。

背景与挑战

背景概述

MatrixCity 数据集是一项具有开创性的研究，旨在推动城市级神经渲染领域的发展。该数据集由香港中文大学和上海人工智能实验室的研究人员共同创建，于2023年9月发布。MatrixCity 的构建旨在解决现有城市级场景数据集的不足，例如数据规模有限、缺乏多样性、难以控制环境因素以及缺乏多属性信息等问题。MatrixCity 数据集的创建标志着城市级神经渲染研究迈出了重要一步，为相关领域的研究提供了宝贵的资源。

当前挑战

MatrixCity 数据集在推动城市级神经渲染研究的同时，也面临着一些挑战。首先，现有神经渲染模型在处理城市级场景时面临着模型容量不足的问题，难以准确建模高细节的城市环境。其次，城市级场景中存在的遮挡、光照变化、天气变化等复杂因素，给神经渲染模型带来了额外的挑战。此外，如何有效地融合来自不同视角（如空中和地面）的数据，以充分利用各自的优势，也是当前研究需要解决的问题。

常用场景

经典使用场景

MatrixCity数据集是一个大规模的城市级神经渲染数据集，旨在推动城市级场景的神经渲染研究。该数据集包含了从Unreal Engine 5中的City Sample项目中收集的高质量城市场景图像，涵盖了多种城市环境，并提供了灵活的环境控制，可以模拟动态光照、天气、人群等环境因素。此外，该数据集还包含了深度图、法线图等额外属性，为城市级神经渲染和其他扩展任务提供了丰富的数据支持。

实际应用

MatrixCity数据集可以应用于多种实际场景，包括虚拟现实、游戏制作、城市规划等。通过使用该数据集训练的神经渲染模型，可以生成逼真的城市场景，为虚拟现实和游戏制作提供丰富的场景资源。此外，该数据集还可以用于城市规划，通过模拟不同的城市环境，为城市规划提供重要的参考依据。

衍生相关工作

MatrixCity数据集的发布促进了城市级神经渲染领域的研究，并衍生了大量的相关工作。例如，基于MatrixCity数据集，研究人员开展了城市级神经渲染模型的性能评估和对比研究，揭示了城市级神经渲染中的挑战和机遇。此外，研究人员还探索了如何利用MatrixCity数据集进行城市级场景的深度估计、逆渲染等任务，推动了城市级神经渲染领域的进一步发展。