jfloresf/mlstac-demo

---
language:
- en
tags:
- clouds
- sentinel-2
- image-segmentation
- deep-learning
- remote-sensing
pretty_name: cloudsen12
---
# cloudsen12

***``A dataset about clouds from Sentinel-2``***

CloudSEN12 is a LARGE dataset (~1 TB) for cloud semantic understanding that consists of 49,400 image patches (IP) that are evenly spread throughout all continents except Antarctica. Each IP covers 5090 x 5090 meters and contains data from Sentinel-2 levels 1C and 2A, hand-crafted annotations of thick and thin clouds and cloud shadows, Sentinel-1 Synthetic Aperture Radar (SAR), digital elevation model, surface water occurrence, land cover classes, and cloud mask results from six cutting-edge cloud detection algorithms.
CloudSEN12 is designed to support both weakly and self-/semi-supervised learning strategies by including three distinct forms of hand-crafted labeling data: high-quality, scribble and no-annotation. For more details on how we created the dataset see our paper: CloudSEN12 - a global dataset for semantic understanding of cloud and cloud shadow in Sentinel-2.

**ML-STAC Snippet**
```python
import mlstac
secret = 'https://huggingface.co/datasets/jfloresf/mlstac-demo/resolve/main/main.json'
train_db = mlstac.load(secret, framework='torch', stream=True, device='cpu')
```

<p align="center">
<img src="header.png" />
</p>

**Sensor: Sentinel2 - MSI**

**ML-STAC Task: TensorToTensor, TensorSegmentation**

**Data raw repository: [https://cloudsen12.github.io/](https://cloudsen12.github.io/)**

**Dataset discussion: [https://github.com/IPL-UV/ML-STAC/discussions/2](https://github.com/IPL-UV/ML-STAC/discussions/2)**

**Review mean score: 5.0**

**Split_strategy: random**

**Paper: [https://www.nature.com/articles/s41597-022-01878-2](https://www.nature.com/articles/s41597-022-01878-2)**
## Data Providers

|Name|Role|URL|
| :---: | :---: | :---: |
|Image & Signal Processing|['host']|https://isp.uv.es/|
|ESA|['producer']|https://www.esa.int/|

## Curators

|Name|Organization|URL|
| :---: | :---: | :---: |
|Jair Flores|OEFA|http://jflores.github.io/|

## Reviewers

|Name|Organization|URL|Score|
| :---: | :---: | :---: | :---: |
|Cesar Aybar|Image & Signal Processing|http://csaybar.github.io/|5|

## Labels

|Name|Value|
| :---: | :---: |
|clear|0|
|thick-cloud|1|
|thin-cloud|2|
|cloud-shadow|3|

## Dimensions

### input

|Axis|Name|Description|
| :---: | :---: | :---: |
|0|C|Spectral bands|
|1|H|Height|
|2|W|Width|

### target

|Axis|Name|Description|
| :---: | :---: | :---: |
|0|C|Hand-crafted labels|
|1|H|Height|
|2|W|Width|

## Spectral Bands

|Name|Common Name|Description|Center Wavelength|Full Width Half Max|Index|
| :---: | :---: | :---: | :---: | :---: | :---: |
|B01|coastal aerosol|Band 1 - Coastal aerosol - 60m|443.5|17.0|0|
|B02|blue|Band 2 - Blue - 10m|496.5|53.0|1|
|B03|green|Band 3 - Green - 10m|560.0|34.0|2|
|B04|red|Band 4 - Red - 10m|664.5|29.0|3|
|B05|red edge 1|Band 5 - Vegetation red edge 1 - 20m|704.5|13.0|4|
|B06|red edge 2|Band 6 - Vegetation red edge 2 - 20m|740.5|13.0|5|
|B07|red edge 3|Band 7 - Vegetation red edge 3 - 20m|783.0|18.0|6|
|B08|NIR|Band 8 - Near infrared - 10m|840.0|114.0|7|
|B8A|red edge 4|Band 8A - Vegetation red edge 4 - 20m|864.5|19.0|8|
|B09|water vapor|Band 9 - Water vapor - 60m|945.0|18.0|9|
|B10|cirrus|Band 10 - Cirrus - 60m|1375.5|31.0|10|
|B11|SWIR 1|Band 11 - Shortwave infrared 1 - 20m|1613.5|89.0|11|
|B12|SWIR 2|Band 12 - Shortwave infrared 2 - 20m|2199.5|173.0|12|

---
语言：
- 英语
标签：
- 云
- Sentinel-2
- 图像分割
- 深度学习
- 遥感
规范名称：cloudsen12
---
# CloudSEN12
***``基于哨兵二号（Sentinel-2）的云数据集``***

CloudSEN12是一个超大规模（约1 TB）的云语义理解数据集，包含49400张图像块（Image Patches，IP），除南极洲外均匀分布于全球各大陆。每张图像块覆盖5090×5090米的区域，包含哨兵二号（Sentinel-2）1C级与2A级数据、人工标注的厚云、薄云及云阴影标签、哨兵一号（Sentinel-1）合成孔径雷达（Synthetic Aperture Radar, SAR）数据、数字高程模型、地表水发生频率数据、土地覆盖分类数据，以及6种前沿云检测算法生成的云掩膜结果。

CloudSEN12旨在支持弱监督学习以及自/半监督学习策略，其包含三种不同形式的人工标注数据：高质量标注、涂鸦标注（scribble）以及无标注数据。如需了解数据集构建的更多细节，请参阅我们的论文：《CloudSEN12——面向哨兵二号（Sentinel-2）影像中云和云阴影语义理解的全球数据集》。

**ML-STAC 代码示例**
python
import mlstac
secret = 'https://huggingface.co/datasets/jfloresf/mlstac-demo/resolve/main/main.json'
train_db = mlstac.load(secret, framework='torch', stream=True, device='cpu')

<p align="center">
<img src="header.png" />
</p>

**传感器：Sentinel2 - 多光谱成像仪（Multi-Spectral Instrument, MSI）**

**ML-STAC 任务：TensorToTensor、张量分割**

**原始数据仓库：[https://cloudsen12.github.io/](https://cloudsen12.github.io/)**

**数据集讨论区：[https://github.com/IPL-UV/ML-STAC/discussions/2](https://github.com/IPL-UV/ML-STAC/discussions/2)**

**评审平均得分：5.0**

**划分策略：随机划分**

**论文：[https://www.nature.com/articles/s41597-022-01878-2](https://www.nature.com/articles/s41597-022-01878-2)**

## 数据提供方
|名称|角色|URL|
| :---: | :---: | :---: |
|图像与信号处理实验室（Image & Signal Processing）|['主办方']|https://isp.uv.es/|
|欧空局（ESA）|['出品方']|https://www.esa.int/|

## 数据集策展人
|名称|机构|URL|
| :---: | :---: | :---: |
|Jair Flores|OEFA|http://jflores.github.io/|

## 评审专家
|名称|机构|URL|得分|
| :---: | :---: | :---: | :---: |
|Cesar Aybar|图像与信号处理实验室|http://csaybar.github.io/|5|

## 标签
|名称|数值|
| :---: | :---: |
|晴空（clear）|0|
|厚云（thick-cloud）|1|
|薄云（thin-cloud）|2|
|云阴影（cloud-shadow）|3|

## 数据维度
### 输入数据
|轴序号|名称|描述|
| :---: | :---: | :---: |
|0|C|光谱波段|
|1|H|高度|
|2|W|宽度|

### 目标数据
|轴序号|名称|描述|
| :---: | :---: | :---: |
|0|C|人工标注标签|
|1|H|高度|
|2|W|宽度|

## 光谱波段
|波段名称|通用名称|描述|中心波长|半高全宽|索引|
| :---: | :---: | :---: | :---: | :---: | :---: |
|B01|海岸气溶胶波段|波段1 - 海岸气溶胶波段 - 分辨率60m|443.5nm|17.0nm|0|
|B02|蓝光波段|波段2 - 蓝光波段 - 分辨率10m|496.5nm|53.0nm|1|
|B03|绿光波段|波段3 - 绿光波段 - 分辨率10m|560.0nm|34.0nm|2|
|B04|红光波段|波段4 - 红光波段 - 分辨率10m|664.5nm|29.0nm|3|
|B05|植被红边1波段|波段5 - 植被红边1波段 - 分辨率20m|704.5nm|13.0nm|4|
|B06|植被红边2波段|波段6 - 植被红边2波段 - 分辨率20m|740.5nm|13.0nm|5|
|B07|植被红边3波段|波段7 - 植被红边3波段 - 分辨率20m|783.0nm|18.0nm|6|
|B08|近红外波段|波段8 - 近红外波段 - 分辨率10m|840.0nm|114.0nm|7|
|B8A|植被红边4波段|波段8A - 植被红边4波段 - 分辨率20m|864.5nm|19.0nm|8|
|B09|水汽波段|波段9 - 水汽波段 - 分辨率60m|945.0nm|18.0nm|9|
|B10|卷云波段|波段10 - 卷云波段 - 分辨率60m|1375.5nm|31.0nm|10|
|B11|短波红外1波段|波段11 - 短波红外1波段 - 分辨率20m|1613.5nm|89.0nm|11|
|B12|短波红外2波段|波段12 - 短波红外2波段 - 分辨率20m|2199.5nm|173.0nm|12|

原始信息汇总

cloudsen12

概述

CloudSEN12是一个大型数据集（约1 TB），用于云的语义理解。该数据集包含49,400个图像块（IP），覆盖全球除南极洲以外的所有大陆。每个图像块覆盖5090 x 5090米，包含来自Sentinel-2级别1C和2A的数据，手工标注的厚云、薄云和云影，以及Sentinel-1合成孔径雷达（SAR）、数字高程模型、地表水出现、土地覆盖类别和六种尖端云检测算法的云掩膜结果。

数据集特点

• 数据来源：Sentinel-2级别1C和2A
• 数据类型：图像块
• 数据量：49,400个图像块
• 覆盖范围：全球除南极洲以外的所有大陆
• 标注类型：手工标注的厚云、薄云和云影
• 额外数据：Sentinel-1 SAR、数字高程模型、地表水出现、土地覆盖类别、云掩膜结果

数据集设计

CloudSEN12旨在支持弱监督和自/半监督学习策略，包含三种不同形式的手工标注数据：高质量标注、涂鸦标注和无标注。

数据提供者

名称	角色	URL
Image & Signal Processing	主机	https://isp.uv.es/
ESA	生产者	https://www.esa.int/

数据集标签

名称	值
clear	0
thick-cloud	1
thin-cloud	2
cloud-shadow	3

数据维度

输入

轴	名称	描述
0	C	光谱波段
1	H	高度
2	W	宽度

目标

轴	名称	描述
0	C	手工标注标签
1	H	高度
2	W	宽度

光谱波段

名称	通用名称	描述	中心波长	半高全宽	索引
B01	coastal aerosol	波段1 - 沿海气溶胶 - 60m	443.5	17.0	0
B02	blue	波段2 - 蓝色 - 10m	496.5	53.0	1
B03	green	波段3 - 绿色 - 10m	560.0	34.0	2
B04	red	波段4 - 红色 - 10m	664.5	29.0	3
B05	red edge 1	波段5 - 植被红边1 - 20m	704.5	13.0	4
B06	red edge 2	波段6 - 植被红边2 - 20m	740.5	13.0	5
B07	red edge 3	波段7 - 植被红边3 - 20m	783.0	18.0	6
B08	NIR	波段8 - 近红外 - 10m	840.0	114.0	7
B8A	red edge 4	波段8A - 植被红边4 - 20m	864.5	19.0	8
B09	water vapor	波段9 - 水汽 - 60m	945.0	18.0	9
B10	cirrus	波段10 - 卷云 - 60m	1375.5	31.0	10
B11	SWIR 1	波段11 - 短波红外1 - 20m	1613.5	89.0	11
B12	SWIR 2	波段12 - 短波红外2 - 20m	2199.5	173.0	12

搜集汇总

数据集介绍

构建方式

在遥感影像分析领域，云层检测与语义理解是提升地表观测精度的关键环节。CloudSEN12数据集的构建依托于Sentinel-2卫星的L1C和L2A级别数据，覆盖全球除南极洲外的所有大陆，精心采集了49,400个尺寸为5090×5090米的图像块。这些数据块不仅整合了Sentinel-1合成孔径雷达影像、数字高程模型、地表水发生频率及土地覆盖分类信息，还融入了六种前沿云检测算法的结果。通过人工标注厚云、薄云与云阴影区域，并设计高质量、草图式及无标注三种标签形式，该数据集为弱监督与自监督学习策略提供了坚实基础，其构建过程详细记录于相关学术论文中。

特点

作为大规模遥感影像数据集，CloudSEN12以其约1TB的庞大体量脱颖而出，均衡涵盖了全球多样化的地理与气候区域。数据集的核心特点在于其多源数据融合，将光学、雷达、地形及环境变量有机结合，并辅以手工标注的云与云阴影语义标签。这些标签细分为清晰、厚云、薄云和云阴影四类，支持像素级分割任务。同时，数据集提供的三种标注形态——高质量完整标注、草图式标注及无标注样本，极大地拓展了其在半监督与自监督学习框架下的应用潜力，为云层语义理解的算法开发与评估设立了新的基准。

使用方法

为便利研究者使用，CloudSEN12数据集可通过ML-STAC工具进行高效加载与处理。用户需导入mlstac库，并指定数据集的秘密链接，即可根据需求选择深度学习框架（如PyTorch），并决定是否启用流式读取以适应不同硬件环境。数据集适用于张量到张量的转换及语义分割任务，输入维度对应多光谱波段、高度与宽度，目标维度则对应手工标注的类别信息。原始数据仓库与社区讨论链接为深入探索提供了额外资源，使得该数据集能够灵活服务于云检测模型的训练、验证与比较研究。

背景与挑战

背景概述

遥感影像云检测是地球观测领域的关键技术，对地表监测与气候变化研究具有深远影响。CloudSEN12数据集由西班牙瓦伦西亚大学图像与信号处理实验室于2022年发布，旨在通过Sentinel-2卫星影像构建全球尺度的云与云阴影语义理解基准。该数据集覆盖除南极洲外的所有大陆，包含四万九千余幅影像斑块，融合了多光谱、合成孔径雷达、数字高程模型等多源数据，并提供了高质量手工标注、涂鸦标注及无标注三种形式，为弱监督与自监督学习提供了重要支撑。其创新性设计显著推动了遥感影像自动解译技术的发展，成为云检测算法评估与优化的核心资源。

当前挑战

云检测任务面临云层形态多变、薄云与地表特征混淆、云阴影与真实地物难以区分等固有难题，对算法的泛化能力与精度提出严峻考验。在数据集构建过程中，全球范围影像采集需协调Sentinel-1/2等多卫星数据，并克服不同时相、光照与大气条件的异质性；手工标注需处理海量高分辨率影像，在薄云边缘、半透明云层等复杂场景中保持标注一致性极具挑战；此外，多模态数据对齐与大规模存储管理亦增加了技术复杂度。这些挑战共同凸显了高质量遥感数据集创建的艰巨性与学术价值。

常用场景

经典使用场景

在遥感影像分析领域，CloudSEN12数据集为云层语义理解提供了关键支持。其经典使用场景集中于训练深度学习模型，以实现对Sentinel-2卫星影像中厚云、薄云及云阴影的精确分割。通过包含49,400个全球分布的图像块，该数据集能够有效模拟不同地理和气候条件下的云层特征，为云检测算法的开发与验证奠定了坚实基础。

解决学术问题

CloudSEN12数据集解决了遥感研究中云层遮挡导致的影像信息缺失问题。通过提供手工标注的高质量标签、涂鸦标签及无标注数据，该数据集支持弱监督、自监督和半监督学习策略，推动了云检测算法在复杂场景下的泛化能力研究。其多模态数据融合，如结合Sentinel-1 SAR和数字高程模型，进一步促进了跨传感器分析与云物理特性的深入探索。

衍生相关工作

基于CloudSEN12数据集，衍生了一系列经典研究工作。这些工作主要集中在改进云分割神经网络架构，如U-Net变体和注意力机制的应用，以提升薄云与云阴影的区分精度。同时，该数据集也催生了多源数据融合方法的研究，结合光学与雷达影像，开发出更鲁棒的云检测模型，推动了遥感人工智能技术的进步。