HKO-7

HKO-7数据集是由香港天文台从2009年至2015年收集的大规模真实世界数据集，用于降水临近预报研究。该数据集包含从2公里高度覆盖512公里×512公里区域的雷达CAPPI反射率图像，分辨率为480×480像素，每6分钟记录一次，每天有240帧。数据经过噪声过滤和基于雨量桶信息的雨天筛选，最终形成包含812天训练数据、50天验证数据和131天测试数据的数据集。该数据集旨在支持深度学习模型在降水临近预报中的应用，解决实时、大规模和精细化的降水预报挑战。

The HKO-7 Dataset is a large-scale real-world dataset collected by the Hong Kong Observatory from 2009 to 2015 for precipitation nowcasting research. It contains radar CAPPI reflectivity images covering a 512 km × 512 km region at an altitude of 2 km, with a resolution of 480 × 480 pixels. The data is recorded every 6 minutes, yielding 240 frames per day. After noise filtering and rain-day screening based on rain gauge information, the finalized dataset is split into 812 days of training data, 50 days of validation data, and 131 days of test data. This dataset aims to facilitate the application of deep learning models in precipitation nowcasting, addressing the challenges of real-time, large-scale and fine-grained precipitation forecasting.

搜集汇总

数据集介绍

构建方式

HKO-7数据集是由香港天文台收集的2009年至2015年期间的雷达回波数据构建而成的。这些数据以每6分钟一次的频率记录，并以2公里高度采集的480×480像素CAPPI反射率图像形式呈现，覆盖以香港为中心的512公里×512公里区域。数据集被预处理以减少噪声，并使用Z-R关系将雷达反射率值转换为降雨强度值（以毫米/小时为单位）。为了解决不同降雨强度事件的不平衡问题，数据集选择了812个雨天进行训练，50个雨天进行验证，以及131个雨天进行测试。

特点

HKO-7数据集具有以下特点：1）数据集规模大，涵盖了不同降雨强度和天气条件下的雷达回波数据；2）数据集具有时间序列特性，适用于评估降水短期预测算法的在线学习能力；3）数据集包括两种测试协议：离线设置和在线设置，以模拟现实世界中的数据流情况；4）数据集提出了平衡均方误差（B-MSE）和平衡平均绝对误差（B-MAE）作为训练和评估指标，以更好地反映降水短期预测的整体性能。

使用方法

使用HKO-7数据集进行降水短期预测研究时，首先需要根据研究目的选择合适的测试协议（离线或在线）。然后，根据所选协议，选择相应的输入数据（雷达回波图像序列）和预测时间步长。接下来，可以使用不同的降水短期预测模型（如TrajGRU、ConvGRU、2D CNN和3D CNN等）对数据进行训练和测试。最后，根据B-MSE、B-MAE等指标评估模型的预测性能，并进行模型选择和优化。

背景与挑战

背景概述

降水短临预报是气象学领域的一个重要课题，它能够为各种公共服务提供支持，包括暴雨预警、航空安全等。近年来，卷积长短时记忆网络(ConvLSTM)在降水短临预报中取得了显著成效，显示了深度学习模型在解决该问题上的巨大潜力。然而，ConvLSTM中的卷积循环结构是位置不变的，而自然运动和变换（如旋转）通常是位置变化的。此外，由于基于深度学习的降水短临预报是一个新兴领域，明确的评估协议尚未建立。为了解决这些问题，我们提出了一个新的模型和一个基准，用于降水短临预报。具体来说，我们超越了ConvLSTM，并提出了轨迹门控循环单元(TrajGRU)模型，该模型可以主动学习位置变化的循环连接结构。此外，我们提供了一个基准，包括来自香港天文台的基于现实世界的大型数据集、新的训练损失和全面的评估协议，以促进未来的研究和评估该领域的发展。

当前挑战

HKO-7数据集在降水短临预报领域面临以下挑战：1）解决领域问题的挑战：ConvLSTM模型在捕捉空间时间相关性方面存在缺陷，因为它使用的是位置不变的滤波器来表示位置变化的连接关系。2）构建过程中遇到的挑战：由于降水事件在不同降雨率阈值下的比例高度不平衡，构建一个能够准确预测不同降雨强度事件的模型具有挑战性。此外，由于雷达回波图以流的形式到达，因此降水短临预报算法可以采用在线学习来动态适应新出现的模式。为了考虑这种设置，我们使用了两种测试协议：离线设置和在线设置。离线设置中，算法只能使用固定窗口的前一个雷达回波图；在线设置中，算法可以使用所有历史数据，并使用任何在线学习算法。

常用场景

经典使用场景

在降水现在预报领域，HKO-7数据集被广泛应用于评估和比较各种深度学习模型的性能。该数据集包含香港天文台2009年至2015年的雷达回波数据，为研究者提供了丰富的降水模式信息。通过HKO-7数据集，研究者可以训练和测试他们的模型，以预测未来几小时内的降雨强度，这对于提高天气预报的准确性、保障交通安全和减少自然灾害损失具有重要意义。

解决学术问题

HKO-7数据集解决了降水现在预报领域存在的两个关键问题。首先，该数据集提供了一个大规模的雷达回波数据集，使得研究者可以在真实世界的数据上进行模型训练和评估，避免了小规模数据集可能导致的模型过拟合问题。其次，HKO-7数据集提出了平衡均方误差（B-MSE）和平衡平均绝对误差（B-MAE）等新的训练和评估指标，这些指标可以更好地反映模型的总体性能，尤其是在不同降雨强度阈值下。

衍生相关工作

HKO-7数据集的提出催生了一系列相关的研究工作。例如，研究者们基于HKO-7数据集提出了轨迹门控循环单元（TrajGRU）模型，该模型能够主动学习位置变体的结构，从而更好地捕捉时空相关性。此外，HKO-7数据集还被用于评估和比较其他深度学习模型，如卷积门控循环单元（ConvGRU）、动态滤波网络（DFN）以及二维和三维卷积神经网络（CNNs）等。这些研究工作为进一步提高降水现在预报的准确性提供了新的思路和方法。