five

Global Flood Forecasting (GFF)|洪水预测数据集|机器学习数据集

收藏
arXiv2024-09-27 更新2024-10-01 收录
洪水预测
机器学习
下载链接:
https://github.com/Multihuntr/GFF
下载链接
链接失效反馈
资源简介:
Global Flood Forecasting (GFF) 数据集由拉筹伯大学和欧洲空间局Φ实验室等机构联合创建,专注于近海地区的洪水预测。该数据集包含298个感兴趣区域,涵盖2014-2020年间的298次洪水事件,提供了多模态和多时间尺度的数据,包括大气再分析产品、高分辨率地形模型和Sentinel-1雷达卫星观测等。数据集的创建过程结合了多种传感器和产品,通过精心分层采样,确保了气候带和大陆的代表性。GFF数据集旨在解决全球范围内洪水预测的挑战,特别是近海地区的洪水预测,为现代机器学习方法提供了分析就绪的数据平台。
提供机构:
拉筹伯大学、雷恩大学、欧洲空间局Φ实验室、欧洲空间局科学中心
创建时间:
2024-09-27
原始信息汇总

Global Flood Forecasting (GFF)

概述

GFF 是一个全球分布的数据集,用于学习洪水预报,包含生成的和标记的洪水地图。

数据下载

数据集可通过以下链接下载:Zenodo

功能

  1. 使用 GFF:在 GFF 数据集上训练和评估模型。
  2. 生成数据:使用 GFF 的方法和代码生成类似的数据。

使用 GFF

  • 通过构建 conda 环境来训练和评估模型。

  • 示例命令: python conda env create -p envs/flood --file environment.yml

  • 运行 train.pyevaluate.py,配置选项可在 configs/* 中查看。

  • 示例配置命令: python python train.py configs/two_recunet.yml -o data_folder=path/to/gff

生成新数据

  • 生成新数据的方法和代码详见 ./HOWTO-GENERATE.md

引用

  • 引用方式:

    TBD

AI搜集汇总
数据集介绍
main_image_url
构建方式
Global Flood Forecasting (GFF) 数据集的构建基于对全球范围内(近)海岸洪水事件的详尽记录。通过交叉参考 Dartmouth Flood Observatory (DFO) 的全面记录与 HydroBASIN 第8级流域的特征,数据集涵盖了2014至2020年间发生的298个洪水事件。每个事件均包含洪水驱动因素作为输入,以及事件发生时的洪水分割图作为目标。数据集通过精心设计的5折交叉验证基准分割,确保了模型间公平的比较,并推动了创新。所有数据以栅格化的TIFF文件格式提供,便于开发和评估数据驱动的机器学习模型。
特点
GFF 数据集的显著特点在于其全球性和多模态性。它不仅覆盖了六大洲和13个气候区,还包含了多种洪水驱动因素,如多时态的大气再分析产品、高分辨率地形模型和模拟降水排水等。此外,数据集还整合了洪水前的Sentinel-1雷达卫星观测和洪水范围注释。这种多模态和多尺度的数据组合,为洪水预报提供了丰富的信息源,同时也带来了技术挑战,特别是对于传统的手工解决方案。
使用方法
GFF 数据集适用于开发和评估洪水预报模型,特别是针对(近)海岸区域的洪水预报。用户可以通过提供的5折交叉验证分割,对模型进行训练和测试,以评估其在不同洪水事件中的表现。数据集的多模态和多尺度特性,使得研究人员可以探索不同数据源的融合策略,以及如何利用这些数据进行精确的洪水范围预测。此外,数据集的开源性质和详细的文档,使得研究人员可以轻松地扩展和定制数据集,以适应特定的研究需求。
背景与挑战
背景概述
全球洪水预报(Global Flood Forecasting, GFF)数据集由La Trobe大学和ESA Φ-lab的研究人员共同创建,旨在解决全球范围内洪水淹没地图的及时预报问题。该数据集的构建始于对现有洪水预测方法的不足之处的认识,特别是在缺乏统一数据集和基准的情况下。GFF数据集通过整合多模态和多时间尺度的数据,涵盖了从2014年到2020年的298个洪水事件,重点关注近海区域。该数据集的发布不仅为研究人员提供了一个全面的平台,以评估和改进洪水预报模型,还对全球气候变化背景下的灾害风险管理具有重要意义。
当前挑战
GFF数据集在构建过程中面临多项挑战。首先,整合多模态和多时间尺度的数据,如大气再分析产品、高分辨率地形模型和雷达卫星观测,需要克服数据融合的技术难题。其次,生成高质量的洪水淹没地图,特别是在近海区域,需要先进的快速映射算法和后处理技术。此外,确保数据集在全球范围内的代表性和公平性,以及在不同气候带和大陆的适用性,也是一项复杂的工作。最后,如何有效地评估和比较不同洪水预报模型的性能,以推动该领域的技术进步,是GFF数据集面临的另一大挑战。
常用场景
经典使用场景
Global Flood Forecasting (GFF) 数据集的经典应用场景在于其能够为全球范围内的洪水淹没预测提供详尽的数据支持。通过整合多模态和多时间尺度的数据,包括大气再分析产品、高分辨率地形模型以及Sentinel-1雷达卫星观测数据,GFF数据集使得研究人员能够开发和验证先进的洪水预测模型。这些模型不仅能够预测洪水的发生,还能精确地绘制出洪水淹没区域的地图,从而为应急响应和灾害管理提供关键信息。
解决学术问题
GFF 数据集解决了学术界在洪水预测领域长期面临的多个关键问题。首先,它填补了全球范围内洪水淹没预测数据集的空白,为研究人员提供了一个统一的基准。其次,通过聚焦于沿海和近海区域的洪水事件,GFF 数据集特别解决了这些区域由于海平面上升和极端天气事件频发而导致的复杂洪水预测问题。此外,GFF 数据集的多模态数据整合能力,为研究如何有效融合不同类型的遥感数据以提高预测精度提供了新的研究方向。
衍生相关工作
GFF 数据集的发布催生了一系列相关研究工作,推动了洪水预测和灾害管理领域的技术进步。例如,基于GFF数据集的研究已经开发出多种先进的机器学习模型,这些模型在洪水淹没预测的准确性和实时性方面取得了显著提升。同时,GFF 数据集也为跨学科研究提供了平台,促进了气象学、地理信息科学和计算机科学等领域的合作,共同探索洪水预测的新方法和新工具。
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4098个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

中国农村教育发展报告

该数据集包含了中国农村教育发展的相关数据,涵盖了教育资源分布、教育质量、学生表现等多个方面的信息。

www.moe.gov.cn 收录

FAOSTAT Forestry

FAOSTAT Forestry数据集包含了全球森林资源的相关统计数据,涵盖了森林面积、木材产量、森林管理等多个方面。该数据集提供了详细的国别数据,帮助用户了解全球森林资源的现状和变化趋势。

www.fao.org 收录

光伏电站发电量预估数据

1、准确预测一个地区分布式光伏场站的整体输出功率,可以提高电网的稳定性,增加电网消纳光电能量的能力,在降低能源消耗成本的同时促进低碳能源发展,实现动态供需状态预测的方法,为绿色电力源网荷储的应用落地提供支持。 2、准确预估光伏电站发电量,可以自动发现一些有故障的设备或者低效电站,提升发电效能。1、逆变器及电站数据采集,将逆变器中计算累计发电量数据,告警数据同步到Maxcompute大数据平台 2、天气数据采集, 通过API获取ERA5气象数据包括光照辐射、云量、温度、湿度等 3、数据特征构建, 在大数据处理平台进行数据预处理,用累计发电量矫正小时平均发电功率,剔除异常数据、归一化。告警次数等指标计算 4、异常数据处理, 天气、设备数据根据经纬度信息进行融合, 并对融合后的数据进行二次预处理操作,剔除辐照度和发电异常的一些数据 5、算法模型训练,基于XGBoost算法模型对历史数据进行训练, 生成训练集并保存至OSS 6、算法模型预测,基于XGBoost算法模型接入OSS训练集对增量数据进行预测, 并评估预测准确率等效果数据,其中误差率=(发电量-预估发电量)/发电量,当误差率低于一定阈值时,该数据预测为准确。预测准确率=预测准确数量/预测数据总量。

浙江省数据知识产权登记平台 收录

China Health and Nutrition Survey (CHNS)

China Health and Nutrition Survey(CHNS)是一项由美国北卡罗来纳大学人口中心与中国疾病预防控制中心营养与健康所合作开展的长期开放性队列研究项目,旨在评估国家和地方政府的健康、营养与家庭计划政策对人群健康和营养状况的影响,以及社会经济转型对居民健康行为和健康结果的作用。该调查覆盖中国15个省份和直辖市的约7200户家庭、超过30000名个体,采用多阶段随机抽样方法,收集了家庭、个体以及社区层面的详细数据,包括饮食、健康、经济和社会因素等信息。自2011年起,CHNS不断扩展,新增多个城市和省份,并持续完善纵向数据链接,为研究中国社会经济变化与健康营养的动态关系提供了重要的数据支持。

www.cpc.unc.edu 收录

中国近海台风路径集合数据集(1945-2024)

1945-2024年度,中国近海台风路径数据集,包含每个台风的真实路径信息、台风强度、气压、中心风速、移动速度、移动方向。 数据源为获取温州台风网(http://www.wztf121.com/)的真实观测路径数据,经过处理整合后形成文件,如使用csv文件需使用文本编辑器打开浏览,否则会出现乱码,如要使用excel查看数据,请使用xlsx的格式。

国家海洋科学数据中心 收录