MagicBathyNet
收藏arXiv2024-05-28 收录
下载链接：
https://www.magicbathy.eu/magicbathynet.html
下载链接
链接失效反馈官方服务：
资源简介：
MagicBathyNet数据集是柏林工业大学与柏林学习与数据基础研究所等机构联合构建的一个多模态遥感基准数据集。该数据集整合了Sentinel-2、SPOT-6卫星图像及航空影像的图像块，同时涵盖栅格格式的水深信息与海底类型注释，专为浅水区域的水深预测与像素级分类研究设计。MagicBathyNet数据集覆盖了两个截然不同的沿海区域：塞浦路斯的Agia Napa地区和波兰的Puck Lagoon地区，这些区域在水体特征和海底类型上有很大的差异。数据集包含3355组Sentinel-2、SPOT-6及航空影像的RGB共注册三元组，辅以1244组双影像对，3354幅航空影像对应的DSM（数字表面模型）栅格图块，以及3396幅Sentinel-2与SPOT-6对应的DSM图像块。此外，还包括533幅用于监督式像素分类的海底生境标注图块，每块图像对应180x180米实地范围，分别以18x18、30x30、720x720像素分辨率呈现于不同来源影像中。MagicBathyNet数据集旨在促进浅水区环境的精细解析，为海洋地质学、生态监测及水下地形建模提供了宝贵的资源。
The MagicBathyNet dataset is a multimodal remote sensing benchmark dataset jointly constructed by the Technical University of Berlin, the Berlin Institute of Learning and Data Foundations, and other institutions. This dataset integrates image patches from Sentinel-2, SPOT-6 satellite imagery and aerial imagery, and also includes raster-format water depth information and seabed type annotations, specifically designed for shallow water area water depth prediction and pixel-level classification research. The MagicBathyNet dataset covers two distinct coastal regions: the Agia Napa area in Cyprus and the Puck Lagoon area in Poland, which differ significantly in water body characteristics and seabed types. The dataset contains 3355 co-registered RGB triplets of Sentinel-2, SPOT-6 and aerial imagery, supplemented by 1244 pairs of dual images, 3354 raster patches of DSM (Digital Surface Model) corresponding to aerial imagery, and 3396 DSM image patches corresponding to Sentinel-2 and SPOT-6. In addition, it includes 533 seabed habitat annotation patches for supervised pixel classification, each corresponding to a 180×180 meter field area, presented in pixel resolutions of 18×18, 30×30 and 720×720 respectively for different source imagery. The MagicBathyNet dataset aims to facilitate fine-grained analysis of shallow water environments, providing a valuable resource for marine geology, ecological monitoring and underwater terrain modeling.
提供机构：
柏林工业大学、柏林学习与数据基础研究所等
创建时间：
2024-05-24
原始信息汇总
MagicBathyNet 数据集概述
数据集简介
MagicBathyNet 是一个多模态遥感数据集，用于浅水区域的测深预测和基于像素的分类。该数据集由 Sentinel-2、SPOT-6 和航空影像的图像块组成，并包含测深数据和海底类别的注释。
数据集构成
-
图像块数量：
- 3355 个 RGB 共配准的 Sentinel-2 (S2)、SPOT-6 和航空影像三元组。
- 1244 个 RGB 共配准的 S2 和 SPOT-6 二元组。
- 3354 个航空影像的 DSM（数字表面模型）栅格块。
- 3396 个 S2 和 SPOT-6 的 DSM 栅格块。
- 533 个海底栖息地和类型的注释栅格块。
-
图像块尺寸：
- 每个图像块覆盖 180x180 米，在 S2 影像中为 18x18 像素，在 SPOT-6 影像中为 30x30 像素，在航空影像中为 720x720 像素。
数据集来源
MagicBathyNet 数据集是在 MagicBathy 研究项目的框架下构建的，该项目由欧洲委员会资助，时间为 2023-2025 年（GA 101063294）。数据集由柏林工业大学（TU Berlin）的遥感图像分析（RSiM）组和柏林学习与数据基础研究所（BIFOLD）的大数据分析与地球观测组共同创建。
引用信息
如果您在研究中使用了 MagicBathyNet 数据集，请引用以下论文：
- P. Agrafiotis, L. Janowski, D. Skarlatos, and B. Demir, "MagicBathyNet: A Multimodal Remote Sensing Dataset for Bathymetry Prediction and Pixel-based Classification in Shallow Waters", arXiv:2405.15477, 2024.
下载链接
致谢
- ESA 提供了 SPOT-6 图像，作为其 TPM 计划的一部分。
- Airbus 提供了原始的 SPOT-6 图像。
- 塞浦路斯土地和测量部提供了 LiDAR 参考数据。
搜集汇总
数据集介绍
构建方式
MagicBathyNet数据集的构建基于多模态遥感数据，涵盖了Sentinel-2、SPOT-6和航空影像，以及相应的水深数据和海底类别标注。数据集包括3355个共配准的三元组图像块，以及1244个共配准的Sentinel-2和SPOT-6图像对。此外，还包括3354个航空影像的数字表面模型（DSM）块和3396个Sentinel-2和SPOT-6的DSM块。数据集的地理分布包括塞浦路斯的Agia Napa地区和波兰的Puck Lagoon地区，这两个地区代表了地中海和波罗的海的不同水体和海底类型。数据集的构建过程中，所有影像均经过辐射、几何和大气校正，并使用先进的结构从运动（SfM）和多视图立体（MVS）技术生成正射影像。水深数据和海底类别标注通过LiDAR和多波束回声测深仪获取，并转换为栅格格式，与影像数据共配准。
特点
MagicBathyNet数据集的主要特点在于其多模态性和地理多样性。数据集包含了Sentinel-2、SPOT-6和航空影像，以及相应的水深数据和海底类别标注，为深度学习模型提供了丰富的输入特征。此外，数据集涵盖了地中海和波罗的海两个截然不同的沿海区域，确保了数据集的广泛适用性和代表性。数据集中的每个图像块覆盖180x180米的区域，具有高分辨率，适用于像素级分类和水深预测任务。数据集还包括大量未标注的样本，可用于自监督学习，进一步提升了数据集的应用潜力。
使用方法
MagicBathyNet数据集适用于多种深度学习任务，包括水深预测和像素级分类。研究人员可以使用该数据集训练和验证基于U-Net、SegFormer等架构的模型，以实现高精度的水深预测和海底类别分类。数据集的公开访问和代码实现为研究人员提供了便捷的实验平台，促进了相关领域的研究进展。数据集的未标注样本还可用于预训练，通过自监督学习方法提升模型的泛化能力。此外，数据集的多模态特性允许研究人员探索多模态融合技术，进一步提升模型的性能。
背景与挑战
背景概述
在海洋科学和遥感技术的交叉领域，精确且频繁更新的水深测量数据与复杂的语义内容对于应对气候变化和人类活动压力下的浅水区域至关重要。传统的声学和激光雷达方法在浅水区域的应用受限，且成本高昂。为此，Panagiotis Agrafiotis等人于2024年创建了MagicBathyNet数据集，该数据集整合了Sentinel-2、SPOT-6卫星图像和航空影像，以及水深数据和海底类别标注，旨在通过深度学习方法提升水深预测和像素级分类的准确性。MagicBathyNet的推出填补了公开可用基准数据集的空白，推动了深度学习在海洋测绘中的应用，特别是对于那些尚未充分测绘的浅水区域。
当前挑战
MagicBathyNet数据集在构建过程中面临多项挑战。首先，多模态数据的整合与校准，特别是不同来源和分辨率的图像数据，增加了数据处理的复杂性。其次，浅水区域的水深测量受限于水体特性，如透明度和底部覆盖物，导致数据噪声和不确定性增加。此外，海底类别的标注依赖于人工，且在不同模态间的标注一致性难以保证，这限制了监督学习的有效性。最后，尽管数据集包含大量未标注样本，如何有效利用这些数据进行自监督学习仍是一个开放问题。这些挑战不仅影响了数据集的质量，也制约了基于该数据集的深度学习模型的性能提升。
常用场景
经典使用场景
MagicBathyNet数据集的经典使用场景主要集中在浅水区域的测深预测和基于像素的底质分类。通过整合Sentinel-2、SPOT-6和航空影像等多模态遥感数据，该数据集为深度学习模型提供了丰富的训练资源，使其能够在复杂的水下环境中准确预测水深并识别不同的底质类型。这种多模态数据的融合不仅提升了模型的预测精度，还为海洋生态系统的监测和管理提供了强有力的工具。
实际应用
在实际应用中，MagicBathyNet数据集为海洋资源管理、环境保护和灾害预警等领域提供了重要的技术支持。例如，通过精确的测深数据，可以优化航道设计，提高航行安全；通过底质分类，可以监测海洋生态系统的健康状况，及时发现和应对环境变化。此外，该数据集还支持海洋工程的规划和实施，如海底电缆铺设和海洋能源开发，为海洋经济的可持续发展提供了科学依据。
衍生相关工作
基于MagicBathyNet数据集，研究者们开发了多种深度学习模型，如U-Net和SegFormer，用于测深预测和底质分类。这些模型在数据集上的表现显著优于传统方法，展示了深度学习在海洋遥感领域的巨大潜力。此外，该数据集还激发了多模态数据融合技术的研究，推动了遥感数据在海洋科学中的应用。未来，随着数据集的扩展和技术的进步，预计将有更多创新性的工作涌现，进一步推动海洋遥感技术的发展。
以上内容由遇见数据集搜集并总结生成
