MatrixCity

该数据集包含了一系列用于生成真实地面法线的合成城市图像，同时它也被用于训练StableNormal模型。该数据集的规模为39,630个样本，其任务是仅从单目彩色输入中进行法线估计。

This dataset consists of a series of synthetic urban images designed for generating ground-truth surface normals, and it is also utilized for training the StableNormal model. The dataset has a total of 39,630 samples, and its task is surface normal estimation solely from monocular color inputs.

搜集汇总

数据集介绍

构建方式

MatrixCity数据集的构建依托于虚幻引擎5（Unreal Engine 5）的City Sample项目，通过开发专用插件实现自动化采集。该插件将城市地图划分为多个区块，依据建筑高度差异分别设计航拍与街景采集轨迹。航拍数据通过设定相机高度与区块顶点坐标生成覆盖性视角，街景数据则基于道路起止点标注生成直线轨迹，并采用立方体映射技术捕捉全景信息。采集过程中运用电影级渲染队列确保图像质量，同时精确记录地面真实相机位姿，并支持深度、法线及反射分解等多模态数据提取，从而构建出大规模、高保真的城市尺度合成数据集。

特点

MatrixCity数据集具备多项显著特征，其核心在于规模宏大与多样性丰富，涵盖总面积达28平方公里的两个城市地图，包含超过50万张航拍与街景图像。数据集通过虚幻引擎5实现了高度可控的动态环境模拟，包括光照角度与强度、天气条件以及行人车辆密度等要素的精细调节。此外，数据集提供了丰富的多模态属性，如深度图、法线图及反射分解组件，为神经渲染之外的深度估计与逆向渲染等任务奠定基础。这些特性共同确保了数据在视觉真实性与研究适用性上的卓越表现。

使用方法

MatrixCity数据集主要用于城市尺度神经渲染及相关任务的基准测试与研究。使用者可依据任务需求，分别或联合利用航拍与街景数据进行模型训练与评估。数据集提供的多模态属性支持深度估计、表面重建及逆向渲染等扩展研究。通过插件控制环境变量，研究人员能够模拟不同动态场景，探究光照、天气等因素对渲染效果的影响。数据集的划分遵循训练与测试集无位置重叠的原则，确保模型泛化能力评估的有效性，为城市尺度视觉计算领域的算法创新提供坚实支撑。

背景与挑战

背景概述

随着神经辐射场（NeRF）及其变体在神经渲染领域取得显著进展，研究焦点逐渐从物体与小规模场景扩展至城市级场景，以应对虚拟现实、自动驾驶等实际应用需求。然而，该领域长期缺乏一个全面且高质量的数据集，因为真实城市数据的采集成本高昂、技术复杂且涉及隐私问题。为此，香港中文大学与上海人工智能实验室的研究团队于2023年推出了MatrixCity数据集，旨在为城市级神经渲染研究提供大规模、高质量且可控的合成数据。该数据集基于虚幻引擎5构建，覆盖总面积达28平方公里，包含67,000张航拍图像与452,000张街景图像，并提供了深度、法线及反射分解等多模态数据。MatrixCity的发布填补了城市级神经渲染基准数据的空白，为复杂城市环境的建模与渲染研究奠定了重要基础。

当前挑战

MatrixCity数据集致力于解决城市级神经渲染的核心挑战，即如何从多视角图像中重建大规模、高细节且动态变化的城市场景。具体挑战包括：在领域问题层面，现有神经渲染模型难以同时处理航拍与街景数据之间的巨大细节差异与视角变化，导致融合训练时性能下降；高层建筑区域的复杂结构与遮挡关系增加了几何建模的难度；反射表面与细小物体的渲染质量仍不理想。在构建过程中，研究团队需克服合成数据采集的技术障碍，包括设计自动化插件以生成覆盖整个城市地图的相机轨迹，确保多模态数据（如深度、法线）的精确对齐，并实现对光照、天气、人流车流等动态环境因素的高效控制，以模拟真实世界的复杂性。

常用场景

经典使用场景

在城市场景神经渲染领域，MatrixCity数据集为大规模城市级三维重建与视图合成提供了基准测试平台。该数据集通过整合无人机航拍与地面街景图像，构建了覆盖28平方公里、包含超过50万张高质量图像的合成城市环境，为探索复杂城市结构的几何与外观建模提供了丰富数据。其多视角、高密度的采集策略，使得研究人员能够系统评估神经辐射场等先进方法在宏观城市尺度下的渲染性能与泛化能力，尤其适用于分析高层建筑遮挡、细节层次差异等城市特有挑战。

衍生相关工作

基于MatrixCity的基准特性，衍生出一系列针对城市尺度神经渲染的改进方法与跨任务研究。例如，研究者借鉴其多尺度数据融合策略，开发了渐进式神经辐射场模型以处理航拍与街景的细节差异；其动态环境控制功能催生了针对光照变化与天气适应的鲁棒渲染算法。同时，数据集提供的深度与法线真值促进了城市场景的逆渲染、语义分割、三维表面重建等交叉任务的发展，为Block-NeRF、Mega-NeRF等大规模场景表示方法的性能评估与优化提供了标准化实验平台。

数据集最近研究

最新研究方向

在城市场景神经渲染领域，MatrixCity数据集的推出为大规模城市级三维重建与视图合成研究开辟了全新路径。该数据集凭借其合成生成的高质量、多视角、多属性数据，有效解决了真实城市数据采集成本高、环境因素不可控的瓶颈。当前前沿研究聚焦于如何融合航空与街景数据，以同时实现宏观几何完整性与微观细节真实性；探索动态光照、天气及交通流等环境变量的解耦与建模，推动神经辐射场技术在自动驾驶仿真、数字孪生城市等热点应用中的落地。其提供的深度、法线及反射属性数据，进一步拓展了逆向渲染、语义理解等交叉任务的研究边界，为构建高保真、可交互的虚拟城市环境奠定了关键基础。

相关研究论文

• MatrixCity: A Large-scale City Dataset for City-scale Neural Rendering and Beyond

  香港中文大学 · 2023年