Awesome-earth-system-ml

这是一个精选的地球系统数据集列表，专为对气候感兴趣的机器学习社区设计。该列表包含来自气候、天气、大气、海洋、洪水、冰冻圈或其他模型和科学的数据。

This is a curated list of Earth system datasets, specifically designed for the machine learning community with an interest in climate. The list encompasses data from climate, weather, atmosphere, oceans, floods, cryosphere, or other models and sciences.

原始信息汇总

数据集概述

数据集名称

Awesome-earth-system-ml

数据集描述

这是一个精选的数据集列表，旨在为对气候感兴趣的机器学习社区提供动态地球系统模型的数据。数据涵盖气候、天气、大气、海洋、洪水、冰冻圈或其他模型和科学领域。

数据集内容

空气质量

• TOAR: Tropospheric Ozone Assessment Report

大气和降水

• SEVIR : A Storm Event Imagery Dataset for Deep Learning Applications in Radar and Satellite Meteorology
• CUMULO : A Dataset for Learning Cloud Classes
• RainNet: A Large-Scale Imagery Dataset and Benchmark for Spatial Precipitation Downscaling
• Fast and accurate learned multiresolution dynamical downscaling for precipitation
• SP-CAM
• NCAR CAM

气候

• ClimateBench
• ClimART: A Benchmark Dataset for Emulating Atmospheric Radiative Transfer in Weather and Climate Models
• PaleoJump: A database for abrupt transitions in past climates
• CMIP6

气候风险

• 待定

冰冻圈

• MAR

洪水

• NEMO: Digital Twin Earth

陆地表面、森林和生物多样性

• EarthNet2021x: Forecasting High-Resolution Earth Multispectral Imagery
• CESM CLM

海洋

• 待定

可再生能源（风能和太阳能）

• WiSoSuper: Benchmarking Super-Resolution Methods on Wind and Solar Data

科学机器学习和数值方法

• PDEBench: An Extensive Benchmark for Scientific Machine Learning

天气

• RainBench: Towards Data-Driven Global Precipitation Forecasting from Satellite Imagery
• WeatherBench: A benchmark dataset for data-driven weather forecasting
• ERA5

野火

• PYROCAST: Machine learning pipeline for pyrocumulonimbus (pyroCb) forecasting

Awesome-awesome

• Awesome Forests
• Awesome Flood Datasets
• Awesome satellite imagery datasets
• Awesome GIS

数据集用途

这些数据集主要用于构建和分析动态地球系统的机器学习模型，包括气候预测、天气预报、环境监测等。

数据集特点

• 包含多种类型的地球系统模型数据，覆盖全球范围。
• 数据集准备为机器学习模型训练和测试提供便利。
• 部分数据集提供了详细的评估指标和使用案例。

搜集汇总

数据集介绍

构建方式

Awesome-earth-system-ml 数据集通过整合来自气候、天气、大气、海洋、洪水、冰冻圈等多个领域的动态地球系统模型数据，构建了一个面向机器学习社区的精选数据集列表。该数据集的构建依赖于社区贡献，用户可以通过提交拉取请求或发送邮件的方式添加新的数据集，确保了数据的多样性和时效性。数据集涵盖了从空气质量到可再生能源等多个子领域，旨在为地球系统建模的机器学习研究提供丰富的资源。

特点

该数据集的特点在于其广泛覆盖了地球系统的多个关键领域，包括气候、天气、大气、海洋等，且每个子领域都提供了经过机器学习优化的数据集。例如，SEVIR 数据集提供了用于风暴事件预测的高分辨率图像序列，而 RainNet 数据集则专注于降水数据的超分辨率重建。这些数据集不仅具有高时空分辨率，还包含了多种输入和输出变量，能够满足不同机器学习任务的需求。此外，数据集还提供了详细的评估指标，如 RMSE、HRTS 等，便于研究者进行模型性能的量化分析。

使用方法

使用 Awesome-earth-system-ml 数据集时，研究者可以根据具体的研究需求选择相应的子领域数据集。例如，若研究目标是降水预测，可以选择 RainNet 或 RainBench 数据集；若关注气候响应预测，则可以使用 ClimateBench 数据集。每个数据集都提供了详细的元数据和评估方法，研究者可以通过 GitHub 页面或相关文献获取数据集的下载链接和使用说明。此外，数据集还支持社区贡献，研究者可以通过提交拉取请求或发送邮件的方式添加新的数据集，进一步丰富数据资源。

背景与挑战

背景概述

Awesome-earth-system-ml 数据集由麻省理工学院的研究人员 Björn Lütjens 等人于近年创建，旨在为气候与地球系统建模领域的机器学习社区提供一个精选的数据集列表。该数据集涵盖了气候、天气、大气、海洋、洪水、冰冻圈等多个领域，旨在解决地球系统建模中的数据科学入门难题。通过整合来自动态地球系统模型的多样化数据，该数据集为研究人员提供了一个全面的资源库，推动了机器学习在地球系统科学中的应用。其影响力不仅体现在数据集的广泛覆盖范围，还在于其社区驱动的开放性，鼓励全球研究人员贡献和共享数据。

当前挑战

Awesome-earth-system-ml 数据集面临的主要挑战包括数据集的多样性与复杂性。地球系统建模涉及多尺度、多物理过程的数据，如何有效整合这些数据并确保其适用于机器学习模型是一个关键问题。此外，数据集的构建过程中，数据的标准化与预处理也面临技术难题，例如不同数据源的分辨率、格式和时空覆盖范围的不一致性。另一个挑战在于如何设计有效的评估指标，以衡量机器学习模型在地球系统科学中的性能，特别是在处理极端天气事件或长期气候预测时，模型的鲁棒性与准确性尤为重要。

常用场景

经典使用场景

Awesome-earth-system-ml数据集在地球系统建模与机器学习交叉领域中具有广泛的应用。其经典使用场景包括气候预测、天气模拟、海洋动力学分析以及大气辐射传输的建模。通过提供多源、多尺度的地球系统数据，该数据集为研究人员提供了丰富的实验材料，特别是在气候变化的长期预测和极端天气事件的短期预报中，展现了其独特的价值。

解决学术问题

该数据集解决了地球系统科学中多个关键学术问题，例如气候模型的参数化、大气辐射传输的精确模拟、降水降尺度的优化等。通过整合来自气候、天气、海洋、冰冻圈等领域的多源数据，研究人员能够更准确地模拟地球系统的动态变化，从而为气候变化的影响评估和应对策略制定提供科学依据。

衍生相关工作

该数据集衍生了许多经典的研究工作，例如基于SEVIR数据集的雷暴事件预测、基于RainNet的降水超分辨率重建、以及基于ClimateBench的气候响应预测模型。这些工作不仅推动了地球系统科学的发展，还为机器学习在地球科学中的应用开辟了新的研究方向。此外，数据集还催生了多个开源工具和框架，如PDEBench和WeatherBench，进一步促进了科学机器学习领域的创新。