OSM, GoogleEarth, CityTopia

CityDreamer4D研究中使用的数据集包括OSM、GoogleEarth和CityTopia。OSM数据集由OpenStreetMap提供，涵盖全球80个城市的语义地图和高度场，覆盖面积超过6000平方公里，主要用于生成真实世界的城市布局。GoogleEarth数据集通过Google Earth Studio采集，包含24000张纽约市的无人机视角图像，并附带3D语义和实例标注。CityTopia数据集是一个高质量合成数据集，基于Unreal Engine 5生成，包含37500张街景和无人机视角图像，提供精确的2D和3D语义及实例标注。这些数据集共同支持4D城市生成任务，旨在解决城市生成中的动态与静态场景分离问题，应用于城市模拟、实例编辑和城市风格化等领域。The datasets utilized in the CityDreamer4D study consist of OSM, GoogleEarth, and CityTopia. The OSM dataset is sourced from OpenStreetMap, covering semantic maps and elevation fields of 80 global cities with a total coverage area exceeding 6,000 square kilometers, and it is primarily employed to generate realistic real-world urban layouts. The GoogleEarth dataset is collected via Google Earth Studio, containing 24,000 drone-view images of New York City, along with 3D semantic and instance annotations. The CityTopia dataset is a high-quality synthetic dataset generated using Unreal Engine 5, encompassing 37,500 street-view and drone-view images, and providing precise 2D and 3D semantic and instance annotations. Collectively, these datasets support 4D urban generation tasks, aiming to address the challenge of separating dynamic and static scenes during urban generation, and have applications in fields such as urban simulation, instance editing, and urban stylization.

搜集汇总

数据集介绍

构建方式

OSM、GoogleEarth和CityTopia数据集的构建方式各具特色。OSM数据集基于OpenStreetMap平台，通过将全球80个城市的矢量数据栅格化，生成了包含道路、建筑、绿地等元素的语义地图和高度场。GoogleEarth数据集则利用Google Earth Studio采集了纽约市的无人机视角图像，并结合OpenStreetMap数据自动生成了3D语义和实例标注。CityTopia数据集则通过虚拟城市生成技术，使用Unreal Engine 5的高质量3D资产，生成了包含11个城市的街景和无人机视角图像，并提供了精确的2D和3D语义及实例标注。

使用方法

这些数据集广泛应用于4D城市生成任务中，尤其是CityDreamer4D模型的训练和评估。OSM数据集用于生成真实世界的城市布局，GoogleEarth和CityTopia数据集则提供了高质量的城市视觉数据，支持动态交通场景和静态城市布局的生成。通过这些数据集，研究人员可以进行实例编辑、城市风格化和城市模拟等下游任务，生成具有高度真实感的4D城市场景。

背景与挑战

背景概述

CityDreamer4D是由Haozhe Xie、Zhaoxi Chen、Fangzhou Hong和Ziwei Liu等人于2025年提出的一种生成模型，专注于生成无界的4D城市场景。该模型通过将动态对象（如车辆）与静态场景（如建筑物和道路）分离，解决了4D城市生成中的复杂性问题。CityDreamer4D的核心创新在于其组合式生成方法，利用面向背景、建筑物和车辆的不同神经场来生成4D场景。该模型还引入了交通场景生成器和无界布局生成器，分别用于生成动态交通场景和静态城市布局。为了支持这一研究，研究团队构建了包括OSM、GoogleEarth和CityTopia在内的多个数据集，这些数据集提供了丰富的城市布局和高质量的3D注释，推动了城市生成领域的研究与应用。

当前挑战

CityDreamer4D在生成4D城市时面临多重挑战。首先，4D城市生成需要处理复杂的动态对象和静态场景，尤其是建筑物和车辆的结构多样性和视觉复杂性，这要求模型能够精确捕捉对象的几何和纹理特征。其次，现有的生成方法往往难以保证时间一致性，尤其是在大规模场景中，动态对象的运动轨迹和静态场景的布局需要高度协调。此外，数据集的构建也面临挑战，如GoogleEarth数据集缺乏街景图像，且其注释依赖于OpenStreetMap，存在一定的精度问题。CityTopia数据集虽然提供了高质量的合成数据，但其生成过程依赖于复杂的3D资产和虚拟城市生成流程，增加了数据集的构建难度。这些挑战共同推动了CityDreamer4D在生成无界4D城市方面的创新。

常用场景

经典使用场景

OSM、GoogleEarth和CityTopia数据集在4D城市生成领域具有广泛的应用，尤其是在CityDreamer4D模型中。这些数据集通过提供真实世界的城市布局和高分辨率城市图像，支持生成无界的4D城市场景。具体而言，OSM数据集提供了全球80多个城市的语义地图和高度场，GoogleEarth数据集则提供了纽约市的高质量无人机视角图像，而CityTopia数据集则通过虚拟城市生成技术提供了精确的2D和3D语义注释。这些数据集共同为4D城市生成提供了丰富的输入数据，使得模型能够生成动态交通场景和静态城市布局。

解决学术问题

这些数据集解决了4D城市生成中的多个关键学术问题。首先，它们通过分离动态对象（如车辆）和静态场景（如建筑物和道路），解决了4D场景生成中的时间一致性问题。其次，通过使用不同类型的神经场生成背景、建筑物和车辆，模型能够捕捉城市环境的多样性和复杂性。此外，这些数据集还支持实例编辑、城市风格化和城市模拟等下游应用，推动了4D城市生成技术的发展。

实际应用

在实际应用中，OSM、GoogleEarth和CityTopia数据集被广泛用于城市模拟、自动驾驶、虚拟现实和游戏开发等领域。例如，CityDreamer4D模型可以利用这些数据集生成逼真的4D城市场景，用于自动驾驶系统的测试和训练。此外，这些数据集还支持城市规划和环境模拟，帮助决策者更好地理解城市发展的动态变化。通过提供高质量的城市图像和3D注释，这些数据集为实际应用提供了可靠的数据支持。

数据集最近研究

最新研究方向

近年来，随着元宇宙的兴起，3D和4D资产生成技术受到了广泛关注。CityDreamer4D作为一种面向无界4D城市生成的组合生成模型，通过将动态对象（如车辆）与静态场景（如建筑物和道路）分离，显著提升了城市生成的多样性和真实性。该模型利用OSM、GoogleEarth和CityTopia等数据集，提供了丰富的城市布局和高质量的城市图像，支持实例编辑、城市风格化和城市模拟等下游应用。这一研究方向不仅推动了城市生成技术的发展，还为城市规划、环境模拟和游戏资产开发等领域提供了新的可能性。

相关研究论文

• CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

  南洋理工大学 · 2025年