OSM, GoogleEarth, CityTopia

CityDreamer4D研究中使用的数据集包括OSM、GoogleEarth和CityTopia。OSM数据集由OpenStreetMap提供，涵盖全球80个城市的语义地图和高度场，覆盖面积超过6000平方公里，主要用于生成真实世界的城市布局。GoogleEarth数据集通过Google Earth Studio采集，包含24000张纽约市的无人机视角图像，并附带3D语义和实例标注。CityTopia数据集是一个高质量合成数据集，基于Unreal Engine 5生成，包含37500张街景和无人机视角图像，提供精确的2D和3D语义及实例标注。这些数据集共同支持4D城市生成任务，旨在解决城市生成中的动态与静态场景分离问题，应用于城市模拟、实例编辑和城市风格化等领域。

AI搜集汇总

数据集介绍

构建方式

OSM、GoogleEarth和CityTopia数据集的构建方式各具特色。OSM数据集基于OpenStreetMap平台，通过将全球80个城市的矢量数据栅格化，生成了包含道路、建筑、绿地等元素的语义地图和高度场。GoogleEarth数据集则利用Google Earth Studio采集了纽约市的无人机视角图像，并结合OpenStreetMap数据自动生成了3D语义和实例标注。CityTopia数据集则通过虚拟城市生成技术，使用Unreal Engine 5的高质量3D资产，生成了包含11个城市的街景和无人机视角图像，并提供了精确的2D和3D语义及实例标注。

使用方法

这些数据集广泛应用于4D城市生成任务中，尤其是CityDreamer4D模型的训练和评估。OSM数据集用于生成真实世界的城市布局，GoogleEarth和CityTopia数据集则提供了高质量的城市视觉数据，支持动态交通场景和静态城市布局的生成。通过这些数据集，研究人员可以进行实例编辑、城市风格化和城市模拟等下游任务，生成具有高度真实感的4D城市场景。

背景与挑战

背景概述

CityDreamer4D是由Haozhe Xie、Zhaoxi Chen、Fangzhou Hong和Ziwei Liu等人于2025年提出的一种生成模型，专注于生成无界的4D城市场景。该模型通过将动态对象（如车辆）与静态场景（如建筑物和道路）分离，解决了4D城市生成中的复杂性问题。CityDreamer4D的核心创新在于其组合式生成方法，利用面向背景、建筑物和车辆的不同神经场来生成4D场景。该模型还引入了交通场景生成器和无界布局生成器，分别用于生成动态交通场景和静态城市布局。为了支持这一研究，研究团队构建了包括OSM、GoogleEarth和CityTopia在内的多个数据集，这些数据集提供了丰富的城市布局和高质量的3D注释，推动了城市生成领域的研究与应用。

当前挑战

CityDreamer4D在生成4D城市时面临多重挑战。首先，4D城市生成需要处理复杂的动态对象和静态场景，尤其是建筑物和车辆的结构多样性和视觉复杂性，这要求模型能够精确捕捉对象的几何和纹理特征。其次，现有的生成方法往往难以保证时间一致性，尤其是在大规模场景中，动态对象的运动轨迹和静态场景的布局需要高度协调。此外，数据集的构建也面临挑战，如GoogleEarth数据集缺乏街景图像，且其注释依赖于OpenStreetMap，存在一定的精度问题。CityTopia数据集虽然提供了高质量的合成数据，但其生成过程依赖于复杂的3D资产和虚拟城市生成流程，增加了数据集的构建难度。这些挑战共同推动了CityDreamer4D在生成无界4D城市方面的创新。

常用场景

经典使用场景

OSM、GoogleEarth和CityTopia数据集在4D城市生成领域具有广泛的应用，尤其是在CityDreamer4D模型中。这些数据集通过提供真实世界的城市布局和高分辨率城市图像，支持生成无界的4D城市场景。具体而言，OSM数据集提供了全球80多个城市的语义地图和高度场，GoogleEarth数据集则提供了纽约市的高质量无人机视角图像，而CityTopia数据集则通过虚拟城市生成技术提供了精确的2D和3D语义注释。这些数据集共同为4D城市生成提供了丰富的输入数据，使得模型能够生成动态交通场景和静态城市布局。

解决学术问题

这些数据集解决了4D城市生成中的多个关键学术问题。首先，它们通过分离动态对象（如车辆）和静态场景（如建筑物和道路），解决了4D场景生成中的时间一致性问题。其次，通过使用不同类型的神经场生成背景、建筑物和车辆，模型能够捕捉城市环境的多样性和复杂性。此外，这些数据集还支持实例编辑、城市风格化和城市模拟等下游应用，推动了4D城市生成技术的发展。

实际应用

在实际应用中，OSM、GoogleEarth和CityTopia数据集被广泛用于城市模拟、自动驾驶、虚拟现实和游戏开发等领域。例如，CityDreamer4D模型可以利用这些数据集生成逼真的4D城市场景，用于自动驾驶系统的测试和训练。此外，这些数据集还支持城市规划和环境模拟，帮助决策者更好地理解城市发展的动态变化。通过提供高质量的城市图像和3D注释，这些数据集为实际应用提供了可靠的数据支持。

数据集最近研究

最新研究方向

近年来，随着元宇宙的兴起，3D和4D资产生成技术受到了广泛关注。CityDreamer4D作为一种面向无界4D城市生成的组合生成模型，通过将动态对象（如车辆）与静态场景（如建筑物和道路）分离，显著提升了城市生成的多样性和真实性。该模型利用OSM、GoogleEarth和CityTopia等数据集，提供了丰富的城市布局和高质量的城市图像，支持实例编辑、城市风格化和城市模拟等下游应用。这一研究方向不仅推动了城市生成技术的发展，还为城市规划、环境模拟和游戏资产开发等领域提供了新的可能性。

相关研究论文

• CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

  南洋理工大学 · 2025年