FY-4A-Himawari-8 (FYH) 数据集

FYH数据集是由西安电子科技大学综合业务网理论及关键技术国家重点实验室创建，包含70,419个图像-标签对，涵盖九种不同的云类别。该数据集通过精确的领域适应方法，确保了投影、时间分辨率和空间分辨率的一致性，以支持监督深度学习网络的训练。数据集主要用于解决卫星图像中云识别的复杂性和多样性问题，通过高分辨率分支和并行多分辨率交叉分支，有效提取和保留云的细节特征。FYH数据集的应用领域包括气象预报、气候研究和航空支持等，旨在提高云识别的准确性和效率。

The FYH Dataset was developed by the State Key Laboratory of Integrated Services Networks Theory and Key Technologies, Xidian University. It contains 70,419 image-label pairs, covering nine distinct cloud categories. This dataset ensures consistency in projection, temporal resolution and spatial resolution through rigorous domain adaptation methodologies to support the training of supervised deep learning networks. Primarily designed to tackle the complexity and diversity inherent in cloud recognition from satellite imagery, the dataset effectively extracts and retains detailed cloud features via high-resolution branches and parallel multi-resolution cross branches. Its application scenarios include weather forecasting, climate research and aviation support, among others, aiming to enhance the accuracy and efficiency of cloud recognition.

原始信息汇总

数据集概述

数据集来源

• FY4A L1 数据集：从 FY4A 下载。
• Himawari 数据集：从 Himawari 下载。

数据集结构

FY4A 数据集

python ├── fydatahimawari │ ├── Himawari ...... │ │ ├── 202005 │ │ │ ├── 05 │ │ │ │ ├── 05 │ │ │ │ │ ├──NC_H08_20200505_0500_L2CLP010_FLDK.02401_02401.nc │ │ │ │ │ ├──NC_H08_20200505_0510_L2CLP010_FLDK.02401_02401.nc │ │ │ │ │ ├──NC_H08_20200505_0520_L2CLP010_FLDK.02401_02401.nc ......

│ ├── FY4A ......

│ │ ├── 20200104 │ │ │ ├── FY4A-_AGRI--_N_REGC_1047E_L1-_FDI-_MULT_NOM_20200104003000_20200104003417_4000M_V0001.HDF │ │ │ ├── FY4A-_AGRI--_N_REGC_1047E_L1-_FDI-_MULT_NOM_20200104003418_20200104003835_4000M_V0001.HDF ......

数据集处理

数据集分割

python python split.py

模型训练

python python tools/train.py --cfg experiments/cityscapes/seg_hrnet_AWCA_PSNL_z_w48_train_100x100_sgd_lr1e-2_wd5e-4_bs_8_epoch100.yaml

模型测试

python python tools/test_production.py

SPARCS 数据集生成验证

数据集准备

下载 Cloud detection SPARCS 数据集。

数据集分割

python python split.py

模型训练

python python tools/train.py --cfg experiments/cityscapes/seg_hrnet_AWCA_PSNL_z_w48_train_200x200_sgd_lr1e-4_wd5e-4_bs_6_epoch100_sparcs.yaml

模型测试

python python tools/test.py --cfg experiments/cityscapes/seg_hrnet_AWCA_PSNL_z_w48_train_200x200_sgd_lr1e-4_wd5e-4_bs_6_epoch100_sparcs.yaml

最终结果生成

python python tools/test_pic.py --cfg experiments/cityscapes/seg_hrnet_AWCA_PSNL_z_w48_train_200x200_sgd_lr1e-4_wd5e-4_bs_6_epoch100_sparcs.yaml python tools/test_pic_merge.py

搜集汇总

数据集介绍

构建方式

FY-4A-Himawari-8 (FYH) 数据集的构建采用了领域自适应方法，将 FY-4A 卫星图像与 H08 云类型产品进行精确对齐。该数据集包含了九种不同的云类别，并利用投影、时间分辨率和空间分辨率的对齐，共收集了 70,419 个图像-标签对，为监督深度学习网络的训练提供了丰富的数据基础。

特点

FYH 数据集具有九种不同的云类别，并利用领域自适应方法对数据进行精确对齐。该数据集在投影、时间分辨率和空间分辨率方面进行了精确的调整，确保了数据的一致性和准确性。此外，数据集中还包含了大量的图像-标签对，为深度学习网络的训练提供了丰富的数据资源。

使用方法

FYH 数据集的使用方法如下：首先，将 FY-4A 卫星图像与 H08 云类型产品进行领域自适应对齐，确保数据的一致性和准确性。然后，利用深度学习网络对图像进行训练，从而实现对云类别的识别和分类。最后，通过评估指标（如 Intersection over Union）来评估模型的性能，并进行模型的优化和调整。

背景与挑战

背景概述

云识别与预警对于飞行支持、天气预报和气候研究等领域至关重要。随着深度学习技术的发展，近年来，学者们主要关注卫星图像中云区域的检测，但针对精确云识别的特定性需求关注不足。为了解决这一局限性，研究人员创建了FY-4A-Himawari-8 (FYH)数据集，该数据集包括九种不同的云类别，并通过精确的领域自适应方法，在投影、时间分辨率和空间分辨率方面对70,419个图像-标签对进行了对齐，从而促进了监督深度学习网络的训练。该数据集的创建为云识别领域的研究提供了宝贵的资源，有助于推动相关技术的发展。

当前挑战

FYH数据集在云识别任务中面临的挑战包括：1) 数据集的复杂性和多样性，云形成的复杂性和多样性使得像素级分割算法难以准确识别和分类各种云类型；2) 构建过程中遇到的挑战，如高分辨率、广泛覆盖和大气影响等。为了有效解决这些挑战，研究人员设计了Distribution-aware Interactive-Attention Network (DIAnet)，该网络通过高分辨率分支和多分辨率交叉分支来保留像素级细节，并集成了分布感知损失(DAL)来减轻不同云类别之间的不平衡。此外，还引入了交互式注意力模块(IAM)来增强特征提取的鲁棒性。实验结果表明，该方法在云识别任务中取得了优异的性能，为相关领域的研究提供了新的思路和方法。

常用场景

经典使用场景

在气象监测、航空支持和气候研究中，云的识别和预警至关重要。FY-4A-Himawari-8 (FYH) 数据集，一个包含九种不同云类别的数据集，被用于训练监督深度学习网络，以实现精确的云识别。数据集的投影、时间分辨率和空间分辨率经过精确的域适应方法进行了对齐，使得数据集能够更好地服务于深度学习模型。DIAnet，一个具有高分辨率分支和并行多分辨率交叉分支的网络，能够保留像素级细节，并通过交叉更新和融合不同分支来准确地描绘云的轮廓，捕捉云形状的固有变异性。此外，DIAnet 还集成了一个交互式注意力模块 (IAM)，以增强特征提取的鲁棒性，从而提高云识别的整体性能。

解决学术问题

FYH 数据集解决了卫星图像中云识别任务的复杂性和多样性问题。数据集的九种云类别和精确的域适应方法使得深度学习网络能够在高分辨率下保持像素级细节，从而更好地识别云的形状和类型。DIAnet 通过高分辨率分支和并行多分辨率交叉分支，有效地解决了小目标云和不同形状云的识别问题。此外，分布感知损失 (DAL) 和交互式注意力模块 (IAM) 的引入，进一步增强了特征提取的鲁棒性，从而提高了云识别的准确性。

衍生相关工作

FYH 数据集和 DIAnet 模型的提出，为云识别领域的研究提供了新的思路和方法。DIAnet 模型的高分辨率分支和并行多分辨率交叉分支的设计，以及分布感知损失和交互式注意力模块的引入，为云识别领域的研究提供了新的方向和思路。此外，FYH 数据集的构建和发布，也为云识别领域的研究提供了宝贵的数据资源。