SyntheWorld

arXiv2023-09-05 更新2024-08-06 收录

土地覆盖映射

建筑物变化检测

数据链接：

http://arxiv.org/abs/2309.01907v1 数据链接链接失效反馈

官方服务：

资源简介：

SyntheWorld是一个大规模合成数据集，用于土地覆盖映射和建筑物变化检测。它包括40,000张亚米级像素图像，具有八种类别的细粒度土地覆盖注释，以及40,000对双时态图像对，用于建筑物变化检测任务。

SyntheWorld is a large-scale synthetic dataset dedicated to land cover mapping and building change detection. It comprises 40,000 sub-meter resolution pixel images with fine-grained land cover annotations covering eight categories, alongside 40,000 pairs of bi-temporal images for building change detection tasks.

创建时间：

2023-09-05

搜集汇总

数据集介绍

构建方式

遥感影像处理领域长期受限于真实数据获取成本高昂与标注难度巨大，合成数据集的构建成为突破瓶颈的关键路径。SyntheWorld数据集基于开源三维建模软件Blender，融合程序化建模与人工智能生成内容（AIGC）技术，构建了一个全合成的遥感影像世界。具体而言，数据集采用网格法与地形法两种布局策略，分别模拟规则城市与不规则发展区域，并通过随机噪声与预设规则程序化生成建筑物和树木的三维几何结构。纹理方面，借助GPT-4生成高质量提示词，驱动Stable Diffusion模型制作约14万张无缝纹理贴图，覆盖七类地物几何体，极大提升了视觉真实性与多样性。

特点

SyntheWorld在规模、多样性与质量上均超越现有合成遥感数据集。它包含4万对亚米级高分辨率影像，其中3万对地面采样距离为0.3至0.6米、尺寸512×512像素，1万对地面采样距离为0.6至1.0米、尺寸1024×1024像素。每对影像提供事后的八类精细土地覆盖标注（与OpenEarthMap数据集类别一致），以及事前事后影像对对应的建筑物变化检测二值掩膜。数据集还模拟了高斯分布的离轴角与均匀分布的太阳位置参数，增强了影像在不同观测条件下的鲁棒性。其完全合成、自动标注与程序化建模的特性，使其成为首个同时支持多类土地覆盖制图与建筑物变化检测两大任务的合成数据集。

使用方法

SyntheWorld适用于土地覆盖制图与建筑物变化检测两大遥感核心任务。对于土地覆盖制图，研究者可使用事后影像及其八类语义标签训练语义分割模型（如DeepLabv3+、U-Net等），并可采用混合训练策略，将合成影像与真实影像按7:1比例混合输入，以提升模型在真实数据集上的泛化性能。对于建筑物变化检测，则利用事前与事后影像对及二值变化掩膜，训练孪生网络或变化检测专用模型（如STANet、ChangeFormer等）。实验表明，在真实训练数据稀缺时，SyntheWorld能显著提升模型性能，其有效性可通过相对距离比（RDR）指标进行量化评估。

背景与挑战

背景概述

遥感影像处理在城市规划、灾害响应与环境监测等领域具有不可替代的作用。然而，真实遥感数据集受限于数据获取的敏感性、隐私保护及高昂的标注成本，规模通常远小于计算机视觉领域的数据集。为突破这一瓶颈，东京大学与RIKEN AIP的研究人员Jian Song、Hongruixuan Chen及Naoto Yokoya于2023年提出了SyntheWorld，一个基于程序化建模与人工智能生成内容（AIGC）的全合成高分辨率遥感数据集。该数据集包含40,000幅亚米级影像，覆盖八类精细土地覆盖标注，并提供40,000对双时相建筑变化检测影像，旨在为土地覆盖制图与建筑变化检测两大核心任务提供高质量训练资源，显著推动了合成数据在遥感领域的应用与验证。

当前挑战

SyntheWorld所面临的挑战首先源于遥感领域特有的域偏移问题：传感器类型、季节与地理位置的差异导致合成数据与真实数据分布难以对齐，实验中部分跨域场景下性能提升有限甚至出现退化。其次，构建过程中需克服大规模虚拟世界建模的复杂性，相较于街景场景，遥感场景中传感器距目标数万米，需在数平方公里内维持多样化的地物目标，如数千棵姿态各异的树木与数百栋风格迥异的建筑。此外，现有合成数据集多依赖预设纹理与几何结构，而SyntheWorld通过程序化建模与AIGC生成约14万张无缝纹理，虽大幅提升多样性，但建模规则与真实世界分布之间的不匹配仍是亟待攻克的核心难题。

常用场景

经典使用场景

在遥感图像处理领域，高分辨率影像的解译长期受困于真实数据获取成本高昂与标注过程繁琐的瓶颈。SyntheWorld作为首个融合程序化三维建模与人工智能生成内容（AIGC）的全合成遥感数据集，凭借其40,000幅亚米级影像与精细的八类土地覆盖标注，为土地覆盖制图任务提供了前所未有的训练资源。其经典使用场景在于，研究者可利用该数据集作为预训练或混合训练的数据源，显著提升模型在真实场景下的语义分割精度，尤其在开发中地区的复杂地物识别上展现出卓越的泛化能力。

衍生相关工作

SyntheWorld的诞生催生了一系列富有影响力的衍生研究工作。基于其独特的数据生成管线，研究者进一步探索了相对距离比（RDR）这一量化指标，用以评估合成数据在特定跨域迁移场景中的增益条件，为合成数据的有条件使用提供了理论判据。同时，该数据集启发了将程序化建模与生成式AI深度融合的技术范式，推动了如基于Stable Diffusion的遥感纹理自动生成、域自适应与域泛化技术在遥感图像处理中的创新应用，形成了从数据生成到模型评估的完整研究链条。

数据集最近研究

SyntheWorld

资源简介：

相关数据集