用于加速开发和基准测试太阳预测方法的综合数据集

此存储库包含全面的太阳辐照度、成像和预报数据集。此版本的目标是为研究界提供标准化的太阳和气象数据集，以加速预测方法的开发和基准测试。数据包括三年（2014-2016 年）质量控制的 1 分钟分辨率全球水平辐照度和加利福尼亚州直接法向辐照度地面测量数据。此外，我们还提供常用外生变量的重叠数据，包括天空图像、卫星图像、数值天气预报和天气数据。我们还包括基线模型的示例代码，用于对更复杂的模型进行基准测试。

This repository contains a comprehensive dataset encompassing solar irradiance, imaging, and forecasting resources. The goal of this release is to provide the research community with standardized solar and meteorological datasets to accelerate the development and benchmarking of forecasting methods. The dataset includes three-year (2014–2016), quality-controlled, 1-minute resolution ground-based measurements of global horizontal irradiance and direct normal irradiance in California. Additionally, we provide temporally overlapping data for commonly used exogenous variables, including sky images, satellite imagery, numerical weather predictions, and weather data. We have also included example code for baseline models to enable benchmarking against more complex models.

原始信息汇总

研究可能会用到的数据集

1. 用于加速开发和基准测试太阳预测方法的综合数据集

直达链接

https://zenodo.org/records/2826939

描述

此存储库包含全面的太阳辐照度、成像和预报数据集。此版本的目标是为研究界提供标准化的太阳和气象数据集，以加速预测方法的开发和基准测试。数据包括三年（2014-2016 年）质量控制的 1 分钟分辨率全球水平辐照度和加利福尼亚州直接法向辐照度地面测量数据。此外，我们还提供常用外生变量的重叠数据，包括天空图像、卫星图像、数值天气预报和天气数据。我们还包括基线模型的示例代码，用于对更复杂的模型进行基准测试。

文件

• Folsom_irradiance.csv: 主要的一分钟 GHI、DNI 和 DHI 数据。
• Folsom_weather.csv: 主要一分钟天气数据。
• Folsom_sky_images_{YEAR}.tar.bz2: 主 Tar 档案，包含 2014、2015 和 2016 年每隔 1 分钟捕获的白天天空图像，使用 bz2 压缩。
• Folsom_NAM_lat{LAT}_lon{LON}.csv: 对距离目标位置最近的四个节点的主要 NAM 预测。{LAT} 和 {LON} 被本文表 I 中列出的节点坐标替换。
• Folsom_sky_image_features.csv: 从天空图像中得出的次要特征。
• Folsom_satellite.csv: 以目标位置为中心的辅助 10 像素 x 10 像素 GOES-15 图像。
• Irradiance_features_{horizon}.csv: 不同预测范围的二次辐照度特征（{horizon} 1⁄4 {小时内，白天，日前}）。
• Sky_image_features_intra-hour.csv: 用于小时内预报发布时间的次要天空图像特征。
• Sat_image_features_intra-day.csv: 用于日内预报发布时间的二次卫星图像特征。
• NAM_nearest_node_day-ahead.csv: 为距离目标位置最近的节点准备的用于日内预报的二次 NAM 预报（GHI、用 DISC 算法计算的 DNI 和总云量）。
• Target_{horizon}.csv: 不同预测范围的次要目标数据。
• Forecast_{horizon}.py: 代码 Python 脚本用于创建不同范围的预测。
• Postprocess.py: 代码 Python 脚本用于计算所有预测的误差度量。

2. 通过卫星图像检测可用于安装光伏板的屋顶面积

直达链接

https://github.com/riccardocadei/photovoltaic-detection?tab=readme-ov-file#methods

主题

该项目的目标是在瑞士（日内瓦）的航拍图像中分割出可用于安装屋顶光伏 (PV) 板的区域，即在排除烟囱、窗户、现有 PV 装置和其他所谓的“上层建筑”后屋顶上的区域。该任务是一个逐像素的二元语义分割问题。

数据

• 输入的航空图像是 PNG 格式的 RGB 航空图像，每张图像尺寸为 250×250×3，像素大小为 0.25×0.25 m^2。
• 数据集中的所有图像都是使用中的有用函数手动标记的labelling_tool。
• 标记的图像是一个二进制掩码，其中 PV 区域中的像素为 1，否则为 0。
• 训练之前，对原始输入图像进行饱和度和经典归一化变换。
• 实时数据论证仅应用于训练集，通过随机水平或垂直翻转图像或旋转九十度。
• 我们的模型的输出再次是二值图像，其中，如果像素位于 PV 区域的概率大于固定阈值，则该像素为一。
• 训练/验证/测试比例：80/10/10％

方法

我们使用基于 U-net 的卷积神经网络 (CNN) 模型和自适应学习算法对其进行训练，计算 Iou 和 Acurrancy 来评估性能。我们首先在整个数据集上训练模型，然后只关注特定类别的图像，即住宅区。

结果

我们能够在像素级自动检测测试图像中的可用屋顶面积，性能可与最先进的技术相媲美。特别是，仅关注住宅区图像，我们在测试集上获得的准确率约为 0.97，交并比指数为 0.77，仅使用 244 张图像进行训练。

搜集汇总

数据集介绍

构建方式

该数据集的构建旨在为研究界提供标准化的太阳和气象数据，以促进太阳预测方法的开发与基准测试。数据集涵盖了三年（2014-2016年）的1分钟分辨率全球水平辐照度（GHI）和加利福尼亚州直接法向辐照度（DNI）的地面测量数据，这些数据经过质量控制，确保了其准确性和可靠性。此外，数据集还包括了多种外生变量的重叠数据，如天空图像、卫星图像、数值天气预报和天气数据，这些数据为模型的训练和验证提供了丰富的背景信息。

使用方法

使用该数据集时，研究者可以首先下载包含辐照度和天气数据的CSV文件，以及天空图像和卫星图像的压缩文件。随后，可以根据研究需求选择合适的数据子集进行分析。数据集中的示例代码提供了基线模型的实现，研究者可以在此基础上进行模型的改进和优化。此外，数据集还包含了用于计算预测误差的Python脚本，这有助于评估模型的预测性能。通过这些步骤，研究者可以有效地利用该数据集进行太阳预测方法的研究和开发。

背景与挑战

背景概述

在可再生能源领域，太阳预测方法的开发和基准测试对于提高太阳能利用效率至关重要。为此，Pedro、Larson和Coimbra于2019年创建了一个综合数据集，旨在为研究界提供标准化的太阳和气象数据，以加速预测方法的开发和基准测试。该数据集涵盖了2014至2016年间的1分钟分辨率全球水平辐照度和直接法向辐照度地面测量数据，并包含了天空图像、卫星图像、数值天气预报和天气数据等多种外生变量。这一数据集的发布，极大地推动了太阳预测方法的研究进展，为相关领域的学者和工程师提供了宝贵的资源。

当前挑战

尽管该数据集为太阳预测方法的研究提供了丰富的数据支持，但在其构建和应用过程中仍面临诸多挑战。首先，数据的高分辨率和高频率特性使得数据处理和存储成为一项技术难题。其次，不同类型数据的整合与同步，尤其是天空图像与数值天气预报数据的结合，需要复杂的算法和计算资源。此外，数据集的广泛应用还要求研究者具备跨学科的知识背景，以充分利用其多样化的数据类型。最后，随着预测模型的复杂化，如何有效地进行基准测试和性能评估，也是该数据集应用中的一大挑战。

常用场景

经典使用场景

在太阳能预测领域，该数据集被广泛应用于开发和基准测试各种太阳辐照度预测模型。通过提供高分辨率的全球水平辐照度（GHI）和直接法向辐照度（DNI）数据，结合天空图像、卫星图像和数值天气预报等外生变量，研究者能够构建和验证复杂的预测模型。这些模型不仅有助于提高预测精度，还能为太阳能系统的优化设计和运行提供关键数据支持。

解决学术问题

该数据集解决了太阳能预测中的多个关键学术问题，包括如何在高分辨率下准确预测太阳辐照度、如何整合多源数据以提高预测模型的鲁棒性，以及如何通过基准测试评估不同预测方法的性能。这些问题对于推动太阳能技术的进步和应用具有重要意义，有助于提高可再生能源的利用率和电网的稳定性。

实际应用

在实际应用中，该数据集为太阳能发电厂的设计和运营提供了重要依据。通过精确的太阳辐照度预测，发电厂能够优化光伏板的角度和清洁频率，提高发电效率。此外，电网运营商可以利用这些预测数据进行负荷管理和调度，确保电力供应的稳定性和可靠性。

数据集最近研究

最新研究方向

在太阳能预测领域，该数据集的最新研究方向主要集中在利用多源数据融合技术提升预测精度。通过整合太阳辐照度、天空图像、卫星图像以及数值天气预报等多维度数据，研究者们致力于开发更为精准的预测模型。此外，随着深度学习技术的迅猛发展，基于卷积神经网络（CNN）和长短期记忆网络（LSTM）的混合模型逐渐成为研究热点，旨在捕捉数据中的复杂时空依赖性，从而提高预测的准确性和稳定性。这些研究不仅推动了太阳能行业的技术进步，也为可再生能源的广泛应用提供了坚实的技术支持。