OmniCloudMask-Combined-Training-Dataset
收藏资源简介：
OmniCloudMask 综合训练数据集是一个用于训练 Sentinel-2 卫星图像云和云影分割模型的多源数据集。该数据集包含 103,548 个图像-标签对（100,528 个训练样本 + 1,070 个验证样本 + 1,950 个测试样本），来自四个源数据集：CloudSEN12、Kappaset、OCM hard negative 和 OCM scribble。每个图像包含三个光谱波段（红、绿、近红外窄带），存储为 3 通道的 GeoTIFF 文件。标签包含四个语义类别（清晰、厚云、薄云、云影）和一个忽略值（无数据）。数据集以 Parquet 分片形式存储，每行包含一个图像-标签对及其元数据。该数据集支持多种任务，包括语义分割和遥感图像分析，适用于地球观测和云检测研究。
OmniCloudMask Comprehensive Training Dataset is a multi-source dataset designed for training cloud and cloud shadow segmentation models on Sentinel-2 satellite imagery. It contains 103,548 image-label pairs, including 100,528 training samples, 1,070 validation samples and 1,950 test samples, sourced from four datasets: CloudSEN12, Kappaset, OCM hard negative and OCM scribble. Each image includes three spectral bands (red, green and near-infrared narrowband) and is stored as a 3-channel GeoTIFF file. The labels cover four semantic categories (clear sky, thick cloud, thin cloud, cloud shadow) and an ignore value (no-data). The dataset is stored in Parquet shards, with each row containing an image-label pair and its associated metadata. This dataset supports multiple tasks such as semantic segmentation and remote sensing image analysis, and is applicable to Earth observation and cloud detection research.
OmniCloudMask Combined Training Dataset
数据集概述
- 名称：OmniCloudMask Combined Training Dataset
- 用途：用于在Sentinel-2卫星影像上训练云和云影分割模型的多源组合数据集。
- 数据量：包含 103,548 个图像-标签对（100,528 个训练 + 1,070 个验证 + 1,950 个测试）。
- 来源：整合了4个源数据集：CloudSEN12、Kappaset、OCM hard negative 和 OCM scribble。
- 应用：用于训练 OmniCloudMask模型 的v4权重。
技术规格
数据格式与存储
- 存储格式：Parquet分片。
- 每行内容：一个图像-标签对。
- 数据列：
subset：源子数据集名称。processing_level：处理级别（"L1C"、"L2A"或""）。image_filename：原始图像文件名。label_filename：原始标签文件名。image：原始GeoTIFF字节（3波段，uint16，LZW压缩）。label：原始GeoTIFF字节（1波段，uint8，LZW压缩）。
图像详情
- 光谱波段：每个图像包含3个波段，存储为3通道GeoTIFF。
- 通道0：B04（红），10米分辨率。
- 通道1：B03（绿），10米分辨率。
- 通道2：B8A（窄近红外），20米分辨率（上采样至10米）。
- 图像数据类型：
uint16（标准Sentinel-2编码，反射率 × 10,000）。 - 标签数据类型：
uint8。 - 地理定位：每个GeoTIFF内保留CRS和仿射变换（UTM投影，WGS84基准）。例外：Kappaset图像未地理配准。
标签类别
包含4个语义类别加一个忽略值：
- 0：清晰（无云或阴影）。
- 1：厚云（不透明云）。
- 2：薄云（半透明云）。
- 3：云影（云投射的阴影）。
- 99：无数据（训练时忽略）。
数据集构成与来源
主要子数据集
-
CloudSEN12 High
- 图像数量：16,980（8,490 L1C + 8,490 L2A）。
- 尺寸：509 x 509像素。
- 标签类型：密集、人工标注。
- 用途：仅训练。
-
CloudSEN12 Scribble
- 图像数量：20,000（10,000 L1C + 10,000 L2A）。
- 尺寸：509 x 509像素。
- 标签类型：稀疏涂鸦标注。
- 用途：训练、验证、测试。
-
CloudSEN12 2k
- 图像数量：1,694（847 L1C + 847 L2A）。
- 尺寸：2000 x 2000像素。
- 标签类型：密集、人工标注。
- 用途：训练、验证、测试。
-
CloudSEN12 Planetary Computer
- 图像数量：8,403（仅L2A）。
- 尺寸：509 x 509像素。
- 标签类型：密集、人工标注。
- 用途：训练。
-
CloudSEN12 Super Resolution Tiles
- 图像数量：33,960（仅L1C）。
- 尺寸：509 x 509像素。
- 标签类型：密集（从原始图像像素重复）。
- 用途：训练。
-
CloudSEN12 Super Resolution Raw
- 图像数量：8,490（仅L1C）。
- 尺寸：1018 x 1018像素。
- 标签类型：密集（从原始图像像素重复）。
- 用途：训练。
-
Kappaset
- 图像数量：9,250（仅L1C）。
- 尺寸：509 x 509像素。
- 标签类型：密集、人工标注。
- 用途：训练。
-
OCM hard negative
- 图像数量：920（仅L2A）。
- 尺寸：509 x 509像素。
- 标签类型：全零掩码（所有像素=清晰）。
- 用途：训练。
-
OCM scribble
- 图像数量：831（仅L2A）。
- 尺寸：509 x 509像素。
- 标签类型：稀疏涂鸦标注。
- 用途：训练。
-
CloudSEN12 Validation
- 图像数量：1,070（535 L1C + 535 L2A）。
- 尺寸：509 x 509像素。
- 标签类型：密集、人工标注。
- 用途：仅验证。
-
CloudSEN12 Test
- 图像数量：1,950（975 L1C + 975 L2A）。
- 尺寸：509 x 509像素。
- 标签类型：密集、人工标注。
- 用途：仅测试。
图像尺寸汇总
- 509 x 509 像素：约5.09 x 5.09公里地面覆盖。大多数数据集使用此尺寸。
- 1018 x 1018 像素：约5.09 x 5.09公里地面覆盖（5米分辨率）。CloudSEN12 super res raw使用。
- 2000 x 2000 像素：约20 x 20公里地面覆盖。CloudSEN12 2k使用。
数据集统计
图像数量与处理级别汇总
| 数据集 | 图像总数 | L1C数量 | L2A数量 | 用途 |
|---|---|---|---|---|
| CloudSEN12 high | 16,980 | 8,490 | 8,490 | 训练 |
| CloudSEN12 scribble | 20,000 | 10,000 | 10,000 | 训练 |
| CloudSEN12 2k | 1,694 | 847 | 847 | 训练 |
| CloudSEN12 high planetary computer | 8,403 | — | 8,403 | 训练 |
| CloudSEN12 high super res tiles | 33,960 | 33,960 | — | 训练 |
| CloudSEN12 high super res raw | 8,490 | 8,490 | — | 训练 |
| Kappaset | 9,250 | 9,250 | — | 训练 |
| OCM Hard negative | 920 | — | 920 | 训练 |
| OCM scribble | 831 | — | 831 | 训练 |
| CloudSEN12 validation | 1,070 | 535 | 535 | 验证 |
| CloudSEN12 test | 1,950 | 975 | 975 | 测试 |
| 总计 | 103,548 | 72,547 | 31,001 |
训练权重
各子数据集在训练中被赋予不同的损失权重以反映标签质量和可靠性：
- CloudSEN12 high: 1.0
- CloudSEN12 scribble: 1.0
- CloudSEN12 2k: 0.8
- CloudSEN12 high super res tiles: 1.1
- CloudSEN12 high super res raw: 1.0
- CloudSEN12 high planetary computer: 1.0
- Kappaset: 0.2
- OCM Hard negative: 0.7
- OCM scribble: 1.1
许可信息
- 整体许可：CC-BY-4.0。
- 源数据集许可：
- CloudSEN12: Creative Commons Zero v1.0 Universal。
- Kappaset: Creative Commons Attribution 4.0 International。
- OCM hard negative & OCM scribble: Creative Commons Zero v1.0 Universal。
