awesome-multimodal-remote-sensing-classification

这是一个关于多模态/多源/多传感器遥感分类的数据集集合，特别关注高光谱和LiDAR图像。该合集收录了多个遥感分类相关的数据集，如LCZ数据（多光谱和SAR数据）、DFC2018数据集（多光谱LiDAR和高光谱数据）、MUUFL Gulfport（高光谱和LiDAR数据）和Houston2013（高光谱和LiDAR数据）。这些数据集覆盖了多源遥感图像分类领域，并提供了数据描述和论文引用。

This is a collection of datasets for multimodal/multi-source/multi-sensor remote sensing classification, with a particular focus on hyperspectral and LiDAR imagery. This collection includes multiple datasets related to remote sensing classification, such as the LCZ dataset (multispectral and SAR data), the DFC2018 dataset (multispectral, LiDAR and hyperspectral data), the MUUFL Gulfport dataset (hyperspectral and LiDAR data), and the Houston2013 dataset (hyperspectral and LiDAR data). These datasets cover the field of multi-source remote sensing image classification, and both data descriptions and paper citations are provided.

原始信息汇总

该页面是一个关于多模态/多源/多传感器遥感图像分类的资源汇总仓库，重点关注高光谱与LiDAR图像的融合分类。

1. 数据集

该页面介绍了四个可用于多模态遥感分类的公开数据集：

• LCZ Data （Multispectral and SAR data）：来源于Sentinel-2和Sentinel-1卫星，包含多光谱（MS）和双极化合成孔径雷达（SAR）数据。
• DFC2018 Dataset （Multispectral LiDAR and Hyperspectral Data）：包含多光谱LiDAR点云和数字表面模型（DSM，0.5米分辨率）、高光谱影像（48个波段，1米分辨率）以及超高分辨率RGB影像（5厘米分辨率）。
• MUUFL Gulfport （Hyperspectral and LiDAR Data）：包含64个波段的高光谱影像（325×220像素）和对应的LiDAR数据，提供了11类地物标签。
• Houston2013 （Hyperspectral and LiDAR Data）：包含144个波段的高光谱影像（HSI）和LiDAR衍生的数字表面模型（DSM），空间分辨率均为2.5米，并提供了LiDAR点云数据。

2. 相关论文

该页面整理了用于多模态遥感数据分类的代表性论文，分为以下三类：

• 综述论文：包括一篇关于多源和多时相遥感数据融合的综述。
• 深度学习方法：涵盖了从2017年到2021年的多种深度学习融合模型，如基于共享与特定特征学习、图融合网络、耦合残差卷积网络、空间-光谱重建网络、层次随机游走、注意力机制等方法，多数论文附有开源代码。
• 传统方法：包括逆变异系数特征与多级融合、特征融合与决策融合等技术。

3. 相关资源库

页面底部提供了两个关于多模态机器学习研究的综合性资源库链接。

搜集汇总

数据集介绍

构建方式

该数据集集合精心整合了多源遥感影像分类领域的代表性基准数据，涵盖多光谱与SAR、高光谱与LiDAR等多种传感器组合。其中，LCZ数据集基于Sentinel-2和Sentinel-1卫星获取，包含多光谱十波段与双极化SAR协方差矩阵数据。DFC2018数据集融合了多光谱LiDAR点云及DSM（0.5米分辨率）、高光谱影像（48波段，1米分辨率）与超高分辨率RGB影像（5厘米分辨率），覆盖超过4平方公里区域。MUUFL Gulfport数据集提供裁剪后的64波段高光谱影像（325×220像素）及包含12类地物的精细标注。Houston2013数据集则包含144波段高光谱影像与LiDAR衍生的DSM，空间分辨率均为2.5米。

使用方法

使用者可直接从各数据集对应的官方存储库或提供的链接下载原始数据及标注文件。数据集支持多种主流深度学习框架（如PyTorch、TensorFlow）的加载与处理，通常需要将多模态数据（如高光谱影像与LiDAR DSM）进行空间对齐和波段堆叠，并划分训练集与测试集。该仓库还整理了大量基于深度学习的融合分类论文及其开源代码，如S2FL、FGCN、FusAtNet等，可作为方法参考与基线对比。用户可依据任务需求，灵活选择特定数据集进行模型训练、评估与消融实验。

背景与挑战

背景概述

随着遥感观测技术的迅猛发展，多模态、多源及多传感器数据的融合分析已成为地学与计算机视觉交叉领域的研究热点。该数据集资源库由多位遥感领域学者于2020年前后整理发布，聚焦于高光谱与激光雷达图像的联合分类问题。其核心研究问题在于如何有效整合来自不同传感器（如Sentinel-2、Sentinel-1）及不同模态（如多光谱、SAR、高光谱与LiDAR）的数据，以提升土地覆盖分类的精度与鲁棒性。通过汇集LCZ、DFC2018、MUUFL Gulfport及Houston2013等经典基准数据集，该资源为深度学习与传统方法的性能评估提供了标准化平台，显著推动了多模态遥感分类领域的发展。

当前挑战

该领域面临的首要挑战在于多模态数据间固有的异构性与维度差异，例如高光谱数据的连续光谱特征与LiDAR点云的三维空间信息难以直接对齐与融合。构建过程中，数据集需解决精确的跨模态配准问题，如Houston2013数据集中HSI与DSM的空间分辨率匹配，以及MUUFL Gulfport数据中因噪声导致的波段剔除与无效区域裁剪。此外，不同传感器成像条件（如光照、大气）的差异易引入分布偏移，而样本标注的稀疏性与类别不平衡（如阴影、路沿等小目标）进一步增加了模型泛化的难度。这些挑战共同制约着多模态遥感分类在实际应用中的可靠性。

常用场景

经典使用场景

在多模态遥感图像分类领域，该数据集整合了高光谱影像与激光雷达数据，为土地覆盖分类提供了基准测试平台。经典使用场景聚焦于利用高光谱数据丰富的光谱信息与LiDAR提供的三维结构信息，通过深度学习模型实现像素级的地物分类。例如，研究者常基于Houston2013与MUUFL Gulfport数据集，验证双分支卷积网络或注意力机制融合框架在城区复杂场景下的分类效能，从而推动多源遥感数据协同分析方法的标准化评估。

解决学术问题

该数据集有效解决了多模态遥感数据融合中的核心学术难题，即如何弥合异质传感器数据在光谱、空间与几何特性上的语义鸿沟。通过提供对齐的多模态样本，它支持了特征级与决策级融合策略的对比研究，揭示了共享与特有特征学习机制对分类精度的提升作用。其意义在于加速了从单一模态向多模态协同的范式转变，为地物识别、变化检测等任务提供了可复现的基准，显著降低了实验复现的壁垒。

实际应用

在实际应用中，该数据集驱动的模型已广泛服务于智慧城市与精细农业领域。例如，基于DFC2018数据训练的融合网络可自动生成高分辨率土地利用图，辅助城市规划者识别建筑、水体与植被的边界；而利用LCZ数据集的SAR与多光谱融合方法，则能在多云条件下持续监测城市热岛效应与作物生长状态，展现了多源遥感在应急响应与资源管理中的独特价值。

数据集最近研究

最新研究方向

多模态遥感数据分类的前沿研究正聚焦于高光谱与LiDAR数据的深度融合，以应对复杂地表覆盖分类的挑战。近年来，基于深度学习的共享与特异性特征学习模型成为热点，例如ISPRS 2021提出的S2FL框架，通过解耦模态共享与独有特征，显著提升了分类精度。同时，图融合网络、残差卷积网络及注意力机制（如FusAtNet）的引入，有效捕捉了空间-光谱-高程的跨模态关联。这些方法在LCZ、DFC2018等基准数据集上验证了其鲁棒性，推动了智慧城市、环境监测等领域的精准应用。2020年IEEE GRSS数据融合竞赛中，全卷积网络的后处理策略更凸显了多源数据协同的巨大潜力，标志着该领域从单一模态向多模态智能解析的范式转变。