awesome-remote-sensing-visual-generative-models

这是一个精心策划的遥感视觉生成模型资源合集，专注于卫星图像领域，收录了相关的论文、数据集、模型和评估指标等资源。合集覆盖了场景合成、可控生成、图像翻译、修复、多时序生成等多个主题，旨在为遥感视觉生成模型的研究和应用提供全面的参考和索引。

This is a carefully curated collection of resources for remote sensing visual generation models, focusing on the satellite imagery domain. It incorporates a range of relevant resources including academic papers, datasets, models, evaluation metrics and more. Covering multiple topics such as scene synthesis, controllable generation, image translation, image inpainting, multi-temporal generation and more, this collection aims to provide comprehensive references and indexing for research and practical applications of remote sensing visual generation models.

原始信息汇总

项目概述

该页面是一个聚焦于遥感视觉生成模型的精选资源列表，由GitHub用户Bili-Sakura维护。该项目专攻卫星图像领域，明确排除了航空影像、街景图像及其应用。

核心内容结构

资源按主题分类组织，包含以下主要部分：

1. 综述论文 (Survey Papers)：收录了11篇遥感领域综述论文，涵盖基础模型、视觉-语言模型、自监督学习等方向。项目指出，现有遥感综述对视觉生成模型的探讨不足，本列表旨在填补这一空白。
2. 场景合成 (Scene Synthesis)：即无条件或文本生成图像，收录了12篇相关论文，例如Text2Earth、DiffusionSat。
3. 可控与结构合成 (Controllable & Structural Synthesis)：收录了19篇关于可控生成、布局生成等论文，例如Object Fidelity Diffusion、AeroGen。
4. 图像到图像转换与恢复 (Image-to-Image Translation & Restoration)：该部分在提供的README内容中被截断，未列出具体条目。
5. 图像修复与内容编辑 (Inpainting & Content Editing)：该部分在提供的README内容中被截断，未列出具体条目。
6. 多时序与序列生成 (Multi-temporal & Sequence Generation)：该部分在提供的README内容中被截断，未列出具体条目。
7. 生成模型用于判别任务 (Generative Modeling for Discriminative Tasks)：该部分在提供的README内容中被截断，未列出具体条目。
8. 数据集 (Datasets)：该部分在提供的README内容中被截断，未列出具体条目。
9. 评估指标 (Evaluation Metrics)：该部分在提供的README内容中被截断，未列出具体条目。

额外信息

• 许可协议：页面底部包含License部分，但未在提供的README中明确说明具体协议。
• 贡献指南：包含Contributing部分，欢迎社区补充和修正。
• 外部链接：项目主页提供了HuggingFace资源集合的链接，便于访问相关模型。

搜集汇总

数据集介绍

构建方式

该数据集并非传统意义上包含大量图像样本的数据集合，而是一个精心整理的资源索引库。其构建方式基于对遥感视觉生成模型领域的系统性文献调研，通过广泛搜集并筛选近年来发表于顶级会议与期刊（如CVPR、ICLR、IEEE TPAMI等）的相关论文、代码仓库以及配套数据集，按照研究主题进行层次化分类。构建者严格限定于卫星图像范畴，排除了航拍、街景等其他遥感影像类型，从而确保收录内容的聚焦性与专业性。每一篇论文均附有标题、发表年份、会议/期刊来源、论文链接及代码链接，部分条目还提供了HuggingFace模型集合入口，极大地方便了研究者的追踪与复现。

使用方法

使用者可通过浏览仓库的目录结构快速定位感兴趣的子领域，例如‘Scene Synthesis’或‘Controllable & Structural Synthesis’。每个子领域下的表格详细列出了论文的元数据与资源链接，点击链接即可直接访问原始论文或开源代码。对于有模型权重上传的条目，HuggingFace集合链接提供了便捷的模型下载与测试入口。研究人员可以依据此索引高效地进行文献调研、方法对比与代码复现，同时也可通过提交Issue或Pull Request的方式参与资源库的维护与扩充，共同推动遥感视觉生成领域的知识共享与进步。

背景与挑战

背景概述

遥感影像作为地球观测的重要数据载体，在环境监测、城市规划与灾害评估等领域发挥着不可替代的作用。近年来，随着深度学习技术的迅猛发展，视觉生成模型在遥感领域的应用逐渐崭露头角，然而，相较于自然图像，遥感影像的生成研究仍处于起步阶段。该数据集由Bili-Sakura团队于2024年创建，旨在系统性地梳理和整合面向卫星影像的视觉生成模型、相关论文、数据集及评估指标。其核心研究问题聚焦于如何利用生成模型实现高保真度、高可控性的遥感影像合成，以弥补现有综述在视觉生成方面的空白。该数据集汇聚了包括Text2Earth、DiffusionSat、MetaEarth等前沿工作，对推动遥感影像生成领域的发展具有重要的参考价值与影响力。

当前挑战

该数据集所面临的挑战主要体现在两个方面。在领域问题层面，遥感影像生成需解决多尺度、多光谱、时空一致性等复杂特性带来的技术瓶颈，现有模型在生成高分辨率、地理空间准确的影像时仍存在细节失真与语义偏差。在构建过程中，数据集的收集与整理面临文献来源分散、模型代码与数据集版本更新频繁等难题，同时需严格区分卫星影像与航空影像、街景影像，确保资源聚焦。此外，不同生成任务（如无条件合成、可控生成、时序生成）的评估标准尚不统一，缺乏公认的基准，进一步增加了数据集维护与更新的难度。

常用场景

经典使用场景

在遥感视觉生成领域，该数据集清单最经典的使用场景是作为卫星图像生成研究的系统性文献索引。研究人员可依据其详尽的分类体系，快速定位场景合成、可控生成、图像修复等方向的核心论文与代码，从而高效复现前沿方法。例如，通过Text2Earth或DiffusionSat等模型，用户能基于文本描述生成高保真卫星图像，这为地理空间数据增强与虚拟场景构建提供了标准化基准。该清单还整合了多时相序列生成、高光谱图像合成等任务，助力学者在统一框架下对比不同生成范式的性能，推动遥感生成模型从理论探索迈向工程实践。

解决学术问题

该数据集清单系统性地回应了遥感领域长期存在的核心学术问题：如何突破数据稀缺性对深度学习模型的制约。传统遥感任务依赖海量标注样本，但实际场景中获取高质量配对数据成本高昂。通过整理扩散模型、自回归模型等生成方法，该清单揭示了利用合成数据增强语义分割、目标检测等判别任务的可行路径。例如，AeroGen和SatSynth等研究表明，生成式数据扩充能显著提升模型在少样本场景下的泛化能力。这一范式不仅缓解了标注瓶颈，更催生了面向遥感影像的‘生成-判别’协同训练理论，为地球观测智能分析奠定了方法论基础。

实际应用

在实际应用中，该数据集清单支撑着地理信息系统的智能化升级。城市规划部门可借助可控合成模型（如GeoSynth）生成不同发展情景下的卫星图像，模拟土地利用变化对交通网络或生态格局的影响。灾害应急响应中，基于文本引导的生成技术（如Text2Earth）能快速补全灾区缺失影像，为救援决策提供即时视觉依据。此外，军事侦察领域利用多模态生成模型（如HSIGene）合成特定波段的高光谱数据，提升目标识别系统的鲁棒性。这些应用显著降低了实地采集成本，同时拓展了遥感数据在模拟推演与隐私保护中的使用边界。

数据集最近研究

最新研究方向

当前，遥感视觉生成模型的研究正步入一个以多模态融合与可控生成为核心的繁荣阶段。该领域不再局限于简单的场景合成，而是深度结合了文本、地图、语义布局等条件信息，催生了如Any2RSI、VectorSynth等能够实现精细化、结构可控的生成方法。同时，以MetaEarth、Text2Earth和DiffusionSat为代表的工作，通过构建大规模全球数据集与基础模型，显著提升了卫星图像生成的真实性、空间保真度与多尺度能力。前沿热点还延伸至面向下游任务的生成式数据增强，例如AeroGen与CRS-Diff利用扩散模型为检测和分割任务合成高质量训练样本，有效缓解了遥感领域的数据稀缺困境。这些进展不仅推动了生成模型在遥感解译中的实际应用，也为构建更强大的地球观测智能系统奠定了坚实基础。