Sat2GroundScape

Sat2GroundScape是一个大规模的卫星-地面图像对数据集，由俄亥俄州立大学创建，旨在为地面场景或视频生成提供支持。该数据集包含超过100,000个透视卫星-地面图像对和25,000个全景对，数据来源于卫星图像和相应的地面视角，为生成逼真的地面场景提供了丰富的视觉信息。数据集的构建过程涉及场景几何估计和卫星数据的投影，通过指导 latent denoising 模型，生成与卫星图像布局一致的高保真度地面视图。该数据集的应用领域包括但不限于3D游戏和大规模城市建模，有助于从地面视角更直观地可视化环境。Sat2GroundScape is a large-scale satellite-to-ground image pair dataset developed by The Ohio State University, intended to support ground scene and video generation. This dataset comprises over 100,000 perspective satellite-ground image pairs and 25,000 panoramic pairs, sourced from satellite imagery and their matching ground-level viewpoints, providing rich visual data for generating photorealistic ground scenes. The construction of this dataset entails scene geometry estimation and satellite data projection, and it is employed to guide latent denoising models in producing high-fidelity ground views that align with the layout of the corresponding satellite imagery. Application scenarios of this dataset include but are not limited to 3D game development and large-scale urban modeling, facilitating more intuitive environmental visualization from a ground-level perspective.

搜集汇总

数据集介绍

构建方式

Sat2GroundScape数据集的构建基于大规模卫星与地面视角图像的精确对齐，通过多视角卫星数据与地面街景图像的密集采集实现。具体而言，卫星数据来源于公开的多视角卫星影像，采用立体匹配方法重建3D模型，并通过纹理映射技术将卫星视图投影至地面层级。地面数据则通过Google街景采集，包含全景与透视格式图像，并辅以地理位置与方向信息。为确保数据对齐精度，研究团队手动校正了卫星3D模型的重力方向偏差，最终构建了包含25,000组全景与100,000组透视图像对的高密度数据集。

特点

该数据集的核心特点体现在其规模性与多模态对齐能力上。作为目前最大的卫星-地面视角配对数据集，其全景与透视双格式设计支持从宏观场景到局部细节的多尺度分析。数据集中每幅地面全景图像关联四个透视视角（左前、左后、右前、右后），且采集点间距控制在3-10米，为连续场景生成提供空间连续性保障。独特的几何-外观联合标注体系（包含深度图、相机位姿及纹理映射数据）进一步增强了其在三维重建与视角合成任务中的实用性。

使用方法

Sat2GroundScape数据集适用于跨视角生成模型的训练与评估，尤其针对卫星到地面视角的合成任务。使用时可分三个阶段：首先通过卫星3D模型渲染获取地面层级的初始外观投影；随后采用卫星引导去噪模块提取高层场景布局特征，指导潜在扩散模型生成单幅地面视图；最终通过卫星时序去噪模块捕捉相机运动特征，实现多视角连贯生成。实验表明，该数据集能有效支持感知质量（FID、LPIPS）与时序一致性（FVD）的量化评估，为城市建模、沉浸式导航等应用提供基准平台。

背景与挑战

背景概述

Sat2GroundScape数据集由俄亥俄州立大学的Ningli Xu和Rongjun Qin团队于2025年提出，旨在解决卫星视图与地面视图之间的跨视角合成问题。该数据集包含超过100,000对卫星与地面视角图像，覆盖大面积城市区域，为地面场景和视频生成提供了丰富的数据支持。其核心研究问题是通过卫星视图生成一致且高真实感的地面视图，解决了传统方法在多视图合成中存在的视角不一致问题。Sat2GroundScape的提出推动了计算机视觉领域在跨视角合成、城市建模和沉浸式3D应用等方面的发展。

当前挑战

Sat2GroundScape面临的挑战主要包括两个方面：领域问题挑战和构建过程挑战。在领域问题方面，卫星与地面视图之间存在显著的视角差异（近90度）和分辨率差异（近十倍），这使得建立稳定的跨域映射极具挑战性。传统方法在单视图合成中表现良好，但在多视图合成中难以保持外观一致性，特别是对建筑物立面等关键细节的处理。在构建过程方面，数据集需要精确对齐卫星3D模型与地面真实视图，校正重力方向的系统误差，并处理不同采集时间导致的动态物体（如树木）变化问题。此外，大规模数据集的构建还面临计算资源和内存消耗的巨大需求。

常用场景

经典使用场景

Sat2GroundScape数据集在跨视角合成领域具有重要应用，特别是在从卫星视角生成一致的地面视角图像方面。该数据集通过提供大规模的卫星-地面图像对，支持了多视角地面场景和视频的生成。其经典使用场景包括城市建模和虚拟现实应用，其中需要从卫星图像中生成具有高真实感和一致性的地面视角序列。

实际应用

在实际应用中，Sat2GroundScape数据集可广泛应用于沉浸式3D游戏开发、城市规划与仿真、自动驾驶场景生成等领域。通过从卫星图像生成高质量的地面视角序列，该数据集为需要大规模真实环境建模的应用提供了高效解决方案。其生成的地面场景还可用于军事模拟、灾害应对训练等专业领域。

衍生相关工作

Sat2GroundScape数据集衍生了一系列经典研究工作，包括基于扩散模型的跨视角合成方法、多视角一致性保持技术等。相关研究如GVG、Sat2Ground等都在此基础上进行了扩展和改进。该数据集还推动了3D场景重建与神经渲染技术的结合，为后续的InfiniCity、Sat2Scene等工作提供了重要参考。