Kuro-Siwo-Webdataset

Kuro Siwo webdatasets是一个用于快速洪水测绘的全球多时相合成孔径雷达（SAR）数据集。该数据集覆盖2015年至2022年全球六大洲和三种主要气候区发生的43次洪水事件，所有洪水区域标注均由专家团队通过细致影像解译完成，空间分辨率高达10米。针对每次洪水事件，数据集提供一景Sentinel-1卫星的灾后影像、两景灾前影像以及对应的数字高程模型（DEM）。数据集包含地距探测（GRD）和单视复（SLC）两种处理级别的SAR产品，并配套BlackBench基准测试所需的webdatasets，包括GRD和SLC产品的训练集与测试集。数据已预先划分为训练集和测试集，测试集覆盖全球不同环境条件的10次洪水事件以确保评估挑战性和代表性。在数据结构上，GRD数据集每个样本包含灾前和灾后影像的VV和VH极化波段（共6个波段文件）、DEM、样本元数据、洪水标注掩膜（0:非水体, 1:永久性水体, 2:洪水）及有效像素掩膜；SLC数据集每个样本包含灾前和灾后复数据图像、DEM、元数据及相同掩膜文件。该数据集适用于图像分类和图像分割任务，特别是在遥感、地球科学和洪水监测领域。Kuro Siwo webdatasets is a global multi-temporal synthetic aperture radar (SAR) dataset for rapid flood mapping. It covers 43 flood events from 2015 to 2022 across six continents and three major climate zones worldwide. All flood area annotations are created by an expert team through meticulous image interpretation, with a spatial resolution of up to 10 meters. For each flood event, the dataset provides one post-disaster Sentinel-1 satellite image, two pre-disaster images, and corresponding digital elevation models (DEMs). The dataset includes SAR products at two processing levels: Ground Range Detected (GRD) and Single Look Complex (SLC), and comes with webdatasets required for the BlackBench benchmark, including training and test sets for both GRD and SLC products. The data is pre-divided into training and test sets, with the test set carefully selected to cover 10 flood events under diverse global environmental conditions to ensure challenging and representative evaluation. In terms of data structure, each sample in the GRD dataset includes VV and VH polarization bands for pre- and post-disaster images (totaling 6 band files), DEM, sample metadata, flood annotation masks (0: non-water, 1: permanent water, 2: flood), and valid pixel masks. Each sample in the SLC dataset includes pre- and post-disaster complex data images, DEM, metadata, and the same mask files. The dataset is suitable for image classification and segmentation tasks, particularly in remote sensing, earth sciences, and flood monitoring.

原始信息汇总

Kuro Siwo Webdataset 数据集详情

数据集基本信息

• 数据集名称: Kuro Siwo webdatasets
• 语言: 英语 (en)
• 任务类型: 图像分类 (image-classification)、图像分割 (image-segmentation)
• 标签: 地球科学 (earth-science)、遥感 (remote-sensing)、洪水制图 (flood-mapping)、SAR、山洪暴发 (flash-flood)、地球观测 (earth-observation)
• 许可证: CC BY 4.0 (cc-by-4.0)

数据集描述

Kuro Siwo 是一个全球多时相 SAR 数据集，用于快速洪水制图。数据集包含 2015-2022 年间发生在 6 大洲、3 个气候带的 43 个洪水事件。标注由专家团队通过精细的影像判读生成，空间分辨率为 10 米。每个洪水事件提供一幅 Sentinel-1 洪水后影像和两幅 Sentinel-1 洪水前影像，以及数字高程模型 (DEM)。为研究目的，数据集同时包含 GRD 和 SLC 两类产品。

• 资助方: 欧盟 Horizon Europe 研究与创新计划的 ThinkingEarth（授权协议号 101130544）和 MeDiTwin（授权协议号 101159723）
• 许可证: CC BY

数据集结构

样本字段

GRD webdatasets 每个样本包含以下字段

• flood_vv.npy (float32): 洪水后影像的 VV 波段
• flood_vh.npy (float32): 洪水后影像的 VH 波段
• sec1_vv.npy (float32): 第一幅洪水前影像的 VV 波段
• sec1_vh.npy (float32): 第一幅洪水前影像的 VH 波段
• sec2_vv.npy (float32): 第二幅洪水前影像的 VV 波段
• sec2_vh.npy (float32): 第二幅洪水前影像的 VH 波段
• dem.npy (float32): 数字高程模型
• info.json: 样本元数据
• mask.npy (float32): 标签（0: 无水, 1: 永久水体, 2: 洪水）
• valid_mask.npy (float32): 有效像素掩膜（0: 无效, 1: 有效）

SLC webdatasets 每个样本包含以下字段

• flood.npy (float32): 洪水后影像
• sec1.npy (float32): 第一幅洪水前影像
• sec2.npy (float32): 第二幅洪水前影像
• dem.npy (float32): 数字高程模型
• info.json: 样本元数据
• mask.npy (float32): 标签（0: 无水, 1: 永久水体, 2: 洪水）
• valid_mask.npy (float32): 有效像素掩膜（0: 无效, 1: 有效）

数据划分

数据集构建了一个具有挑战性的评估框架，选取全球 10 个洪水事件作为测试集，覆盖 Kuro Siwo 中所有六大洲和三个主要气候带的广泛环境条件。

• GRD 组件的训练集和测试集分别位于 train_GRD 和 test_GRD 文件夹
• SLC 组件的训练集和测试集分别位于 train_SLC 和 test_SLC 文件夹

引用信息

BibTeX 格式:

@inproceedings{NEURIPS2024_43612b06, author = {Bountos, Nikolaos Ioannis and Sdraka, Maria and Zavras, Angelos and Karavias, Andreas and Karasante, Ilektra and Herekakis, Themistocles and Thanasou, Angeliki and Michail, Dimitrios and Papoutsis, Ioannis}, booktitle = {Advances in Neural Information Processing Systems}, editor = {A. Globerson and L. Mackey and D. Belgrave and A. Fan and U. Paquet and J. Tomczak and C. Zhang}, pages = {38105--38121}, publisher = {Curran Associates, Inc.}, title = {Kuro Siwo: 33 billion m^{}2 under the water. A global multi-temporal satellite dataset for rapid flood mapping}, url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/43612b0662cb6a4986edf859fd6ebafe-Paper-Datasets_and_Benchmarks_Track.pdf}, volume = {37}, year = {2024} }

APA 格式:

Bountos, N. I., Sdraka, M., Zavras, A., Karavias, A., Karasante, I., Herekakis, T., Thanasou, A., Michail, D. & Papoutsis, I. (2024). Kuro Siwo: 33 billion $ m^ 2$ under the water. A global multi-temporal satellite dataset for rapid flood mapping. Advances in Neural Information Processing Systems, 37, 38105-38121.

数据集卡片作者

Maria Sdraka

搜集汇总

数据集介绍

构建方式

Kuro-Siwo-Webdataset 是一个面向全球快速洪水测绘的多时相合成孔径雷达（SAR）数据集。其构建基于2015至2022年间发生于六大洲及三种气候带的43次洪水事件，所有标注均由专家团队通过精细的影像判读完成，空间分辨率达到10米。针对每一次洪水事件，数据集提供了一景灾后Sentinel-1影像与两景灾前Sentinel-1影像，并附有数字高程模型（DEM）。为兼顾研究需求，数据集同时收录了GRD（地距斜视）与SLC（单视复数）两种产品类型，并以WebDataset格式封装训练集和测试集，分别置于对应的文件夹下。

特点

该数据集的显著特点在于其全球覆盖性与多时相结构：涵盖多种环境条件，跨越六大洲与三类主要气候带，为洪水测绘提供了极具挑战的评测基准。其中GRD产品包含VV与VH两个极化波段的灾前灾后影像，而SLC产品则提供原始复数数据。每个样本均配备精细的三分类标签（无水、永久水体、洪水）以及有效像素掩膜，用于区分有效与无效观测区域。此外，额外的元数据文件进一步充实了样本的时空背景信息。

使用方法

用户可通过标准WebDataset加载方式直接读取数据。对于GRD产品，样本包含flood_vv.npy、flood_vh.npy、sec1_vv.npy等文件；SLC产品则提供flood.npy、sec1.npy等复数影像。训练与测试集分别存放于train_GRD、test_GRD、train_SLC与test_SLC文件夹中。研究者可将数据用于图像分类或语义分割任务，结合DEM信息与多时相SAR影像，开展洪水范围自动提取与评估工作。数据集采用CC BY 4.0许可协议，并已在NeurIPS 2024发表，引用时请使用对应文献。

背景与挑战

背景概述

Kuro-Siwo-Webdataset是由Orion AI Lab研究团队于2024年构建的全球多时相合成孔径雷达（SAR）数据集，旨在推动快速洪水制图研究。该数据集涵盖了2015至2022年间六大洲与三个气候带的43个洪水事件，提供了10米空间分辨率的精细标注，由专家团队通过严谨的影像解译完成。每个洪水事件包含一幅灾后与两幅灾前Sentinel-1影像，以及数字高程模型（DEM），并同时提供GRD与SLC两类产品，为洪水遥感分析奠定了标准化基准。该数据集发表于NeurIPS 2024，受欧盟Horizon Europe研究计划资助，其提出的BlackBench基准测试为全球洪水智能监测能力评估提供了关键参考，显著提升了紧急情境下地球观测数据的可用性与研究价值。

当前挑战

Kuro-Siwo-Webdataset所解决的领域核心挑战在于：1）全球洪水制图面临时空异质性强、标注数据匮乏且分布不均的问题，现有数据集多局限于特定区域或单一气候带，难以支持模型在新场景下的泛化；2）SAR影像受地形、建筑及永久水体干扰严重，需精细区分临时洪水和永久水体，对模型判别能力要求极高。在构建过程中，团队克服了多源数据配准与时间对齐的困难，从Sentinel-1庞大数据流中精准筛选灾前/灾后对应时相，并通过专家协同解译统一标注标准，确保在不同地貌与气候条件下的标注可靠性。此外，GRD与SLC双产品设计增加了数据一致性挑战，需分别优化处理流程以兼顾空间分辨率与相位信息的高效利用。

常用场景

经典使用场景

作为全球首个融合多时相合成孔径雷达（SAR）影像与数字高程模型（DEM）的洪水快速制图数据集，Kuro-Siwo-Webdataset在遥感与地球科学领域树立了崭新的基准。该数据集囊括2015至2022年间横跨六大洲、三种气候带的43次洪水事件，以10米空间分辨率提供精细的影像与标注。其典型用法在于利用前后时相SAR影像的极化特征（VV与VH波段）进行监督学习，结合DEM地形信息精准区分永久水体与动态洪水区域。研究者和工程师通常以此数据集训练深度神经网络，实现从像素级分割到灾情快速评估的全流程自动化。

实际应用

在实际应用中，Kuro-Siwo-Webdataset为应急管理与救灾系统赋能。它可直接用于训练卫星遥感平台的洪水自动识别模块，在暴雨与溃堤事件发生后数小时内生成高精度洪泛图。该数据集支撑政府机构与保险公司开展灾情监测、损失评估和资源配置，尤其适用于地形复杂且地面观测稀疏的地区。其附带的标准基准测试也为商业遥感解决方案提供了统一性能比较平台，加速了技术与业务的落地融合。

衍生相关工作

围绕Kuro-Siwo衍生出的一系列经典工作主要集中在跨事件域适应、多尺度特征融合与弱监督学习领域。BlackBench评估框架的构建即是突出代表，它通过固定测试集揭示了现有模型在异质环境下的性能短板，推动了多项改进算法的诞生。后续工作以该数据集为基线，探索了基于时空特征重构的洪水检测方法、利用对比学习强化SAR影像表示的策略，以及融合气象与水文数据的端到端预测模型，共同谱写了当前洪水智能感知的技术生态谱系。