notadib/NASA-Power-Daily-Weather

该数据集包含从NASA Power API下载的1984年1月1日至2022年12月31日的每日太阳能和气象数据。数据集覆盖了北美、中美洲和南美洲的5x8网格区域，每个网格矩形包含160个数据点，纬度和经度间隔为0.5度。数据集包含28个直接下载的变量和3个从收集数据中估计的变量。数据集的结构包括原始JSON格式数据、处理后的CSV格式数据以及用于训练的Pytorch TensorDataset对象。数据集的创建过程包括从NASA Power API获取数据、处理缺失值、省略闰年额外天数、数据透视以及标准化处理。

This dataset contains daily solar and meteorological data downloaded from the NASA Power API from January 1st, 1984, to December 31st, 2022. The dataset covers a 5x8 grid over North, Central, and South America, with each grid rectangle containing 160 data points spaced 0.5 degrees apart in latitude and longitude. The dataset includes 28 directly downloaded variables and 3 additional variables estimated from the collected data. The dataset structure includes raw JSON format data, processed CSV format data, and Pytorch TensorDataset objects ready for training. The dataset creation process involves data acquisition from the NASA Power API, handling missing values, omitting leap year extra days, pivoting data, and standardization.

原始信息汇总

数据集概述

数据集名称

NASA Power Weather Data over North, Central, and South America from 1984 to 2022

数据集内容

该数据集包含从1984年1月1日至2022年12月31日收集的太阳能和气象数据，涵盖北美、中美和南美地区。数据集包含31个气象变量，包括温度、风速、降水、云量等。

数据集结构

• raw: 来自NASA Power API的未处理JSON格式数据。
• csvs: 处理后的CSV格式数据。
• pytorch: 准备用于训练的Pytorch TensorDataset对象，数据已重塑，序列长度为365。

数据集变量描述

参数名称	符号	单位
Temperature at 2 Meters	T2M	C
Temperature at 2 Meters Maximum	T2M_MAX	C
Temperature at 2 Meters Minimum	T2M_MIN	C
Wind Direction at 2 Meters	WD2M	Degrees
Wind Speed at 2 Meters	WS2M	m/s
Surface Pressure	PS	kPa
Specific Humidity at 2 Meters	QV2M	g/Kg
Precipitation Corrected	PRECTOTCORR	mm/day
All Sky Surface Shortwave Downward Irradiance	ALLSKY_SFC_SW_DWN	MJ/m^2/day
Evapotranspiration Energy Flux	EVPTRNS	MJ/m^2/day
Profile Soil Moisture (0 to 1)	GWETPROF	0 to 1
Snow Depth	SNODP	cm
Dew/Frost Point at 2 Meters	T2MDEW	C
Cloud Amount	CLOUD_AMT	0 to 1
Evaporation Land	EVLAND	kg/m^2/s * 10^6
Wet Bulb Temperature at 2 Meters	T2MWET	C
Land Snowcover Fraction	FRSNO	0 to 1
All Sky Surface Longwave Downward Irradiance	ALLSKY_SFC_LW_DWN	MJ/m^2/day
All Sky Surface PAR Total	ALLSKY_SFC_PAR_TOT	MJ/m^2/day
All Sky Surface Albedo	ALLSKY_SRF_ALB	0 to 1
Precipitable Water	PW	cm
Surface Roughness	Z0M	m
Surface Air Density	RHOA	kg/m^3
Relative Humidity at 2 Meters	RH2M	0 to 1
Cooling Degree Days Above 18.3 C	CDD18_3	days
Heating Degree Days Below 18.3 C	HDD18_3	days
Total Column Ozone	TO3	Dobson units
Aerosol Optical Depth 55	AOD_55	0 to 1
Reference evapotranspiration	ET0	mm/day
Vapor Pressure	VAP	Pa
Vapor Pressure Deficit	VAD	Pa

数据集区域坐标

• USA: 坐标范围从(29, -109)到(49, -69)。
• Central America: 坐标范围从(24, -117)到(19, -77)。
• South America: 坐标范围从(-51, -77)到(14, -85)。

数据处理

• 缺失值通过回填处理。
• 闰年的额外一天被省略，确保每年数据长度一致。
• 数据进行了旋转，每个测量值有365、52或12列。
• pytorch数据使用美国大陆的气象数据的均值和标准差进行了标准化。

搜集汇总

数据集介绍

构建方式

该数据集通过从NASA Power API下载每日的太阳能和气象数据，并从1984年1月1日至2022年12月31日进行了收集。数据涵盖了美国、中美洲和南美洲的5x8网格，每个网格矩形包含160个数据点，这些点在纬度和经度上相隔0.5度。除了直接下载的28个变量外，还从收集的数据中估计了额外的3个变量。数据以JSON格式下载，并经过处理后转换为CSV格式，最后形成PyTorch的TensorDataset对象，以便于训练。

特点

数据集包含了31个气象变量，这些变量涵盖了温度、风向、风速、表面压力、湿度、降水量、短波辐射、能量通量、土壤湿度、雪深、露点温度、云量、蒸发量、湿球温度、雪覆盖分数、长波辐射、光合有效辐射、反照率、可降水、表面粗糙度、空气密度、相对湿度、冷却度日、加热度日、臭氧总量、气溶胶光学厚度和蒸气压等。数据集的特点在于其广泛的覆盖范围和长时间的跨度，这使得它非常适合用于研究和开发涉及气候变化的模型和算法。

使用方法

数据集提供了三种格式的数据：原始的JSON格式数据，经过处理的CSV格式数据，以及适用于PyTorch框架的TensorDataset对象。使用数据集时，可以根据需要选择合适的格式。对于PyTorch用户，可以直接使用TensorDataset对象进行模型训练。对于其他用户，可以先将CSV数据加载到内存中，然后根据需要进行进一步的处理和分析。在处理数据时，需要特别注意数据的缺失值填充、闰年的处理以及数据的标准化等问题。

背景与挑战

背景概述

该数据集是由NASA Power API提供，从1984年到2022年的每日太阳和气象数据。这些数据包括31个气象变量，如温度、风速、降水量、湿度等，覆盖了北美洲、中美洲和南美洲的5 x 8网格。该数据集的主要研究人员或机构是Adib Hasan、Mardavij Roozbehani和Munther Dahleh。该数据集对于气象学、环境科学和气候研究等领域具有重要的影响力，可以为研究人员提供历史气象数据，帮助他们更好地理解气候变化的趋势和影响。

当前挑战

该数据集面临的挑战主要包括：1）气象数据的准确性和可靠性，由于数据来自多个来源，可能存在一定的误差和缺失值；2）数据集的规模较大，对于处理和存储能力有较高的要求；3）数据集的格式和处理方式较为复杂，需要一定的专业知识和技能才能有效利用。

常用场景

经典使用场景

NASA Power Weather Data数据集，覆盖了1984年至2022年间北美洲、中美洲和南美洲的每日太阳能和气象数据，是研究气候变化、太阳能资源评估和天气预报等领域不可或缺的资源。该数据集广泛应用于气候模式验证、太阳能发电潜力评估、农业气象研究等，为科学家和政策制定者提供了宝贵的数据支持。

衍生相关工作

基于NASA Power Weather Data数据集，衍生出了一系列经典的研究工作，如WeatherFormer模型，该模型利用数据集进行预训练，学习鲁棒的气象表示，为小数据集上的天气预测提供了有效的解决方案。此外，数据集还被用于开发多种气象预测模型和气候变化分析工具，为相关领域的科学研究提供了有力支持。

数据集最近研究

最新研究方向

在气候模型和气象预测领域，NASA Power Daily-Weather数据集的应用正日益凸显其重要性。该数据集的全面性和长时间序列特性使其成为研究气候变化的理想工具。近期的研究方向主要集中在利用深度学习和机器学习技术来提高气象预测的准确性和时效性。例如，WeatherFormer模型通过预训练编码器从小型数据集中学习鲁棒的天气表示，展现了该数据集在提升模型性能方面的潜力。此外，研究还关注于如何将数据集应用于农业、能源和城市规划等领域，以促进可持续发展。这些研究不仅有助于我们更好地理解气候变化，还为相关行业提供了宝贵的决策支持。