C2Seg

C2Seg数据集是由中国科学院航空信息研究所创建的，用于跨城市语义分割任务的多模态遥感基准数据集。该数据集包含两个跨城市场景：德国的柏林-奥格斯堡和中国的北京-武汉。数据集通过EnMAP、Sentinel-2、Sentinel-1、Gaofen-5、Gaofen-6和Gaofen-3卫星任务收集，涵盖了高光谱、多光谱和合成孔径雷达（SAR）数据。C2Seg数据集旨在通过提供多样化的遥感信息和先进的解决方案，促进AI模型在跨城市或区域案例中的泛化能力。此外，数据集还用于IEEE WHISPERS2023会议的挑战任务，促进了跨城市多模态语义分割的研究进展。

The C2Seg dataset is a multimodal remote sensing benchmark dataset developed by the Aerospace Information Research Institute, Chinese Academy of Sciences for cross-city semantic segmentation tasks. It includes two cross-city scenario pairs: Berlin-Augsburg in Germany and Beijing-Wuhan in China. The dataset is collected via satellite missions including EnMAP, Sentinel-2, Sentinel-1, Gaofen-5, Gaofen-6 and Gaofen-3, covering hyperspectral, multispectral and Synthetic Aperture Radar (SAR) data. Designed to enhance the generalization performance of AI models across cross-city or cross-region scenarios, the C2Seg dataset provides diverse remote sensing data and advanced solutions. Additionally, the dataset served as a challenge task at the IEEE WHISPERS 2023 conference, contributing to the advancement of research on cross-city multimodal semantic segmentation.

搜集汇总

数据集介绍

构建方式

C2Seg数据集的构建旨在解决跨城市遥感图像语义分割任务中缺乏高质量多模态遥感基准数据集的问题。该数据集包括两个跨城市场景：德国的柏林-奥格斯堡和中国北京-武汉。数据集由高光谱、多光谱和合成孔径雷达（SAR）数据组成，这些数据分别来自EnMAP、Sentinel-2、Sentinel-1、Gaofen-5、Gaofen-6和Gaofen-3等卫星任务。为了确保数据集的一致性，所有图像都被预处理以匹配10米的地面采样距离（GSD）。此外，数据集还包含13个不同的土地利用和土地覆盖语义类别，这些类别是通过从OpenStreetMap（OSM）LULC平台获取土地利用和土地覆盖（LULC）标签数据并手动检查和补充得到的。

使用方法

使用C2Seg数据集时，首先需要对数据进行预处理，包括波段归一化和裁剪图像。然后，可以使用多种深度学习模型进行训练和测试，例如DeepLabv3、SegNet、FastFCN、AdaptSeg、DSAN、DualHR、SegFormer和HighDAN。在训练过程中，可以使用多类交叉熵损失和Dice损失来优化模型。在评估模型性能时，可以计算像素级总体准确率（OA）、平均交并比（mIoU）和平均F1分数（mF1）。此外，还可以进行消融研究，以评估不同组件对跨城市语义分割性能的影响。

背景与挑战

背景概述

随着人工智能在遥感领域的应用日益广泛，特别是在单一城市环境中的应用，如单城市或区域，人工智能模型在跨城市或区域的案例研究中遇到了性能瓶颈，这主要是由于缺乏多样化的遥感信息和高泛化能力的先进解决方案。为了解决这个问题，研究人员构建了一个新的多模态遥感基准数据集C2Seg，用于跨城市语义分割任务的研究。C2Seg数据集由两个跨城市场景组成，即德国的柏林-奥格斯堡和中国的北京-武汉。此外，还提出了一种高分辨率域适应网络HighDAN，以促进人工智能模型在多城市环境中的泛化能力。HighDAN能够以并行高到低分辨率融合的方式保留研究城市场景的空间拓扑结构，并通过对抗性学习缩小不同城市之间遥感图像表示的巨大差异。此外，HighDAN还考虑了Dice损失，以减轻由于跨城市因素引起的类别不平衡问题。

当前挑战

C2Seg数据集和相关领域的主要挑战包括：1) 缺乏高质量的遥感数据集，以更好地理解跨城市环境；2) 目前开发的方法更倾向于关注单一城市环境中性能的极致追求，而不是提高模型在多样化城市环境（例如，不同的城市或地区）中的泛化能力。此外，构建C2Seg数据集的过程中，研究人员也面临着如何有效地融合来自不同遥感平台或传感器的数据，以提供更丰富、更多样化的互补信息的挑战。

常用场景

经典使用场景

C2Seg数据集主要用于解决跨城市语义分割任务，该任务在人工智能领域具有广泛的应用前景。通过使用高分辨率领域自适应网络HighDAN，C2Seg数据集能够有效提高人工智能模型在多城市环境中的泛化能力，从而更好地理解和监测当代城市环境。该数据集由两个跨城市场景组成，即柏林-奥格斯堡（德国）和北京-武汉（中国），并包含了高光谱、多光谱和合成孔径雷达（SAR）等多种遥感数据。C2Seg数据集的构建旨在推动跨城市语义分割研究的发展，并为相关研究提供高质量的多模态遥感基准数据集。

解决学术问题

C2Seg数据集解决了当前遥感图像语义分割任务中存在的跨城市或跨区域研究进展缓慢的问题。由于缺乏高质量的多模态遥感基准数据集和当前开发的方法主要集中在单个城市环境中的性能追求，导致跨城市或区域研究中的语义分割模型泛化能力有限。C2Seg数据集的构建提供了丰富的多模态遥感数据，并通过HighDAN网络架构实现了跨城市语义分割的领域自适应，从而有效解决了跨城市或区域研究中的语义分割问题。

实际应用

C2Seg数据集在实际应用场景中具有广泛的应用前景。在城市规划和管理、土地使用、空间布局、信息传输等方面，跨城市语义分割技术可以提供重要的数据支持。例如，通过C2Seg数据集和HighDAN网络架构，可以实现对城市土地利用和土地覆盖的分类，从而为城市规划和土地管理提供科学依据。此外，C2Seg数据集还可以用于监测城市环境变化、灾害预警等方面，为城市可持续发展提供支持。

数据集最近研究

最新研究方向

随着遥感技术的飞速发展，跨城市语义分割任务在遥感应用中日益重要。C2Seg数据集的提出，为这一领域的研究提供了强有力的支持。该数据集包含柏林-奥格斯堡和中国北京-武汉两个跨城市的场景，涵盖了高光谱、多光谱和合成孔径雷达(SAR)三种遥感数据。为了克服跨城市遥感图像分割中的语义差距，研究者们提出了高分辨率域适应网络（HighDAN）。HighDAN利用对抗学习，能够有效地将知识从一个城市环境转移到另一个城市环境，并通过Dice损失函数减轻跨城市研究中可能出现的类别不平衡问题。在C2Seg数据集上的实验结果表明，HighDAN在分割性能和泛化能力方面均优于现有的竞争者，为跨城市语义分割任务提供了新的研究方向。

相关研究论文

• Cross-City Matters: A Multimodal Remote Sensing Benchmark Dataset for Cross-City Semantic Segmentation using High-Resolution Domain Adaptation Networks

  中国科学院航空信息研究所 · 2023年