antofuller/CROMA_benchmarks

该数据集包含从论文《CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders》中提取的预处理数据，涵盖了DFC 2020、Dynamic World (DW) — Expert、MARIDA和Canadian Cropland四个子数据集。每个子数据集都包含训练和验证图像及其对应的标签，数据以PyTorch张量的形式存储，并提供了如何使用这些数据的说明。

原始信息汇总

数据集概述

DFC 2020

• 数据格式: PyTorch tensors
• 类别数: 8
• 训练数据:
  • 图像形状: (46,152, 14, 96, 96)
  • 标签形状: (46,152, 96, 96)
• 验证数据:
  • 图像形状: (8,874, 14, 96, 96)
  • 标签形状: (8,874, 96, 96)

Dynamic World (DW) — Expert

• 数据格式: PyTorch tensors
• 类别数: 9 (-1 表示未标记)
• 训练数据:
  • 图像形状: (20,422, 14, 96, 96)
  • 标签形状: (20,422, 96, 96)
• 验证数据:
  • 图像形状: (51,022, 14, 96, 96)
  • 标签形状: (51,022, 96, 96)

MARIDA

• 数据格式: PyTorch tensors
• 类别数: 15 (-1 表示未标记)
• 训练数据:
  • 图像形状: (1,682, 11, 96, 96)
  • 标签形状: (1,682, 96, 96)
• 验证数据:
  • 图像形状: (1,615, 11, 96, 96)
  • 标签形状: (1,615, 96, 96)

Canadian Cropland

• 数据格式: PyTorch tensors
• 类别数: 10
• 2017年数据:
  • 训练图像形状: (9,898, 13, 65, 65)
  • 训练标签形状: (9,898)
  • 验证图像形状: (2,075, 13, 65, 65)
  • 验证标签形状: (2,075)
  • 测试图像形状: (2,138, 13, 65, 65)
  • 测试标签形状: (2,138)
• 2018年数据:
  • 训练图像形状: (12,789, 13, 65, 65)
  • 训练标签形状: (12,789)
  • 验证图像形状: (2,714, 13, 65, 65)
  • 验证标签形状: (2,714)
  • 测试图像形状: (2,822, 13, 65, 65)
  • 测试标签形状: (2,822)
• 2019a年数据:
  • 训练图像形状: (11,628, 12, 65, 65)
  • 训练标签形状: (11,628)
  • 验证图像形状: (2,486, 12, 65, 65)
  • 验证标签形状: (2,486)
  • 测试图像形状: (2,517, 12, 65, 65)
  • 测试标签形状: (2,517)
• 2019b年数据:
  • 训练图像形状: (4,094, 13, 65, 65)
  • 训练标签形状: (4,094)
  • 验证图像形状: (821, 13, 65, 65)
  • 验证标签形状: (821)
  • 测试图像形状: (858, 13, 65, 65)
  • 测试标签形状: (858)
• 2020年数据:
  • 训练图像形状: (15,475, 12, 65, 65)
  • 训练标签形状: (15,475)
  • 验证图像形状: (3,318, 12, 65, 65)
  • 验证标签形状: (3,318)
  • 测试图像形状: (3,339, 12, 65, 65)
  • 测试标签形状: (3,339)

搜集汇总

数据集介绍

构建方式

在遥感数据融合研究领域，CROMA基准数据集通过整合多个权威遥感数据集构建而成。该数据集并非原创生成，而是对已有公开数据集进行预处理与标准化，具体涵盖了DFC 2020全球土地覆盖数据、Dynamic World近实时土地利用数据、MARIDA海洋废弃物检测数据以及加拿大农田分类数据。构建过程中，原始遥感影像被统一裁剪为固定尺寸的图块，并转换为PyTorch张量格式存储，光学与雷达波段经过对齐与归一化处理，形成了结构化的多源遥感数据集合。

特点

该数据集的核心特征在于其多源异构遥感数据的集成性，融合了Sentinel-2光学影像与Sentinel-1雷达数据，实现了多模态遥感信息的互补。数据涵盖陆地覆盖、海洋环境与农业监测等多元场景，标注体系包含像素级与图像级两种粒度，且各类别样本均经过严格的质量控制。数据以标准化张量格式封装，通道维度明确区分光学与雷达波段，时空覆盖范围跨越不同年度与地理区域，为对比学习与跨模态研究提供了高度一致的基准框架。

使用方法

使用该数据集时，研究者可通过加载预处理的PyTorch文件直接获取张量化数据，其中影像数据为归一化的8位整数格式，需转换为浮点数并除以255以恢复数值范围。数据集已划分训练、验证与测试子集，用户可根据任务需求调用相应键值获取多波段影像及其对应标注。对于CROMA等对比学习模型，需注意光学与雷达通道的分离处理，同时应遵循各原始数据集的引用规范，确保学术使用的合规性与可追溯性。

背景与挑战

背景概述

遥感影像分析领域长期致力于融合多模态数据以提升地表覆盖分类的精度与鲁棒性。CROMA基准数据集由NeurIPS 2023会议论文《CROMA: Remote Sensing Representations with Contrastive Radar-Optical Masked Autoencoders》提出，其核心研究问题在于如何通过对比学习与掩码自编码器技术，有效整合光学与雷达遥感数据，以生成更具判别性的联合表征。该数据集整合了DFC 2020、Dynamic World、MARIDA及Canadian Cropland等多个权威子集，涵盖了全球土地覆盖、近实时土地利用、海洋废弃物检测及农业地物分类等多元任务，为多模态遥感表征学习提供了标准化评估框架，显著推动了遥感智能解译技术的发展。

当前挑战

在遥感多模态融合领域，核心挑战在于异构数据源间的语义对齐与特征互补性挖掘。光学与雷达数据在物理特性与分辨率上存在固有差异，如何克服模态间分布差异以实现稳健的特征融合，是提升分类性能的关键难题。数据集构建过程中，面临标注一致性、时空匹配及数据质量控制等多重挑战。例如，不同子集间类别体系与标注标准各异，需进行精细的归一化处理；雷达与光学影像的时空配准要求极高，任何偏差均可能导致模型学习到虚假关联；此外，遥感影像中普遍存在的云层遮挡、传感器噪声等问题，进一步增加了数据清洗与预处理的复杂度。

常用场景

经典使用场景

在遥感影像分析领域，CROMA_benchmarks数据集为多模态遥感数据的融合与表征学习提供了标准化的评估框架。该数据集整合了Sentinel-2光学影像与Sentinel-1雷达数据，通过像素级标注支持土地覆盖分类、海洋废弃物检测及农作物识别等任务。其经典使用场景体现在为对比学习与掩码自编码器模型提供多源遥感数据对，促进模型学习跨模态的稳健特征表示，从而提升下游遥感解译任务的性能。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在多模态遥感表征学习框架的构建。例如，CROMA论文提出的对比雷达-光学掩码自编码器，开创了跨模态自监督预训练的新路径；后续研究基于该基准发展了多任务融合网络、域自适应迁移模型等。这些工作深化了对遥感数据跨模态关联机制的理解，并催生了如雷达-光学特征对齐、弱监督土地分类等一系列创新方法，持续推动遥感人工智能技术的前沿发展。

数据集最近研究

最新研究方向

在遥感领域，多模态数据融合正成为提升地表覆盖与目标识别精度的关键路径。CROMA基准数据集整合了雷达与光学遥感数据，为对比性掩码自编码器提供了标准化评估框架。当前研究聚焦于跨模态表征学习，旨在通过自监督方式挖掘雷达与光学影像间的互补信息，以应对弱监督或标注稀缺场景下的土地分类、海洋废弃物检测及农作物监测等任务。这一方向不仅呼应了全球环境监测的迫切需求，也推动了遥感智能分析向更高效、泛化性更强的方向发展，为可持续发展目标提供了坚实的数据驱动力。