DSWx-expanding-validation-dataset

该数据集用于扩展和精炼DSWx的验证数据，利用专家生成的验证数据来生成对Planetscope全图的开放水面/非水面推断。

This dataset is utilized to expand and refine the validation data for DSWx, leveraging expert-generated validation data to produce open water/non-water inferences for full-scene Planetscope imagery.

原始信息汇总

数据集概述

数据集目的

本数据集用于训练模型，以扩展OPERA DSWx验证所需的数据量。通过利用专家生成的OPERA DSWx-HLS产品验证数据，对完整的Planetscope图像进行开放表面水/非水分类推断。

数据集内容

• 验证数据表: data/validation_table.csv，包含Planet、HLS和DSWx图像ID，以及指向DSWx和验证数据S3桶链接。
• Planetscope图像: 下载并存储在data/下的场景特定文件夹中，包括裁剪版本存储在data/planet_images_cropped。
• 专家分类数据: 与裁剪的Planetscope图像一起存储。

数据集使用

• 环境设置: 使用environment.yml文件创建Anaconda环境，推荐使用mamba加速。
• 数据下载: 需要从NASA Earthdata下载OPERA DSWx-HLS CalVal数据库，并从Planet获取API密钥以访问原始图像数据。
• 模型训练与验证: 通过一系列Jupyter笔记本执行，包括数据下载、模型训练和验证指标计算。

数据集结构

. ├── data │ └─ validation_table.csv ├── notebooks │ ├─ .env │ ├─ 0-Setup-folder-structures.ipynb │ ├─ 1a-Download-datasets.ipynb │ ├─ 2a-Train-and-infer-all-chips.ipynb │ ├─ 2b-Train-and-infer-single-RF.ipynb │ ├─ 2c-Train-boosted-trees.ipynb │ ├─ 2d-new-inferences.ipynb │ ├─ 3a-Recalculate-validation-metrics.ipynb │ ├─ 3b-Recalculate-validation-metrics-all-images.ipynb │ ├─ rf_funcs.py │ └─ tools.py ├── environment.yml ├── LICENSE.txt └── README.md

注意事项

• 使用前需更新data/validation_table.csv以确保DSWx文件名正确。
• 笔记本应按编号顺序执行。

搜集汇总

数据集介绍

构建方式

DSWx-expanding-validation-dataset的构建基于OPERA DSWx-HLS产品的专家验证数据，通过训练模型扩展了PlanetScope影像的验证范围。具体而言，该数据集利用现有的验证数据生成模型，对完整的PlanetScope影像进行开放地表水/非水的推断。通过这种方式，数据集不仅覆盖了专家标注的区域，还扩展至整个影像范围，从而为OPERA DSWx产品的验证提供了更全面的数据支持。

特点

该数据集的核心特点在于其扩展性，能够将验证范围从局部区域扩展至整个PlanetScope影像。此外，数据集包含了详细的验证表文件，记录了Planet、HLS和DSWx影像的ID信息，以及S3存储桶中相关数据的链接。数据集的布局清晰，包含数据文件夹、LaTeX报告模板和多个Jupyter Notebook，便于用户进行模型训练、推断和验证。

使用方法

使用该数据集时，用户需首先通过Anaconda环境配置文件创建并激活所需的环境。随后，用户需从NASA Earthdata下载OPERA DSWx-HLS CalVal数据库，并将其解压至数据文件夹中。对于PlanetScope影像的下载，用户需在`.env`文件中配置API密钥。数据集的Jupyter Notebook按编号顺序执行，用户需依次运行以完成数据下载、模型训练、推断和验证的全流程。

背景与挑战

背景概述

DSWx-expanding-validation-dataset数据集由OPERA项目团队开发，旨在扩展用于验证OPERA DSWx-HLS产品的地表水分类数据。该数据集的核心研究问题是通过利用专家生成的验证数据，结合PlanetScope影像，生成更广泛的地表水/非水分类推断，从而提升验证数据的覆盖范围和质量。OPERA项目由NASA等机构支持，专注于地表水监测与分类，其研究成果对全球水资源管理和环境监测具有重要意义。该数据集的创建时间为近期，主要研究人员包括OPERA-Cal-Val团队，其工作流程和模型训练方法已在GitHub上公开，推动了地表水分类算法的进一步发展。

当前挑战

DSWx-expanding-validation-dataset面临的挑战主要包括两个方面。首先，在地表水分类领域，如何在高分辨率影像中准确区分水体与非水体仍然是一个技术难题，尤其是在复杂地形和植被覆盖区域。其次，在数据集构建过程中，获取和处理大规模PlanetScope影像数据需要高效的算法和计算资源，同时还需解决数据格式不一致和API访问限制等问题。此外，验证数据的扩展依赖于专家标注的准确性，而人工标注的成本和时间消耗较高，进一步增加了数据集构建的难度。这些挑战需要通过优化模型训练流程和改进数据处理技术来逐步克服。

常用场景

经典使用场景

DSWx-expanding-validation-dataset数据集主要用于扩展OPERA DSWx验证数据的覆盖范围。通过利用专家生成的OPERA DSWx-HLS产品验证数据，该数据集能够在完整的PlanetScope图像上进行开放地表水/非水的推断。这一过程不仅提升了验证数据的丰富性，还为后续的水体分类研究提供了坚实的基础。

解决学术问题

该数据集解决了遥感领域中地表水分类验证数据不足的问题。通过生成扩展的验证数据，研究人员能够更全面地评估OPERA DSWx产品的精度和可靠性。这一数据集的使用显著提高了地表水分类模型的验证效率，为遥感数据的质量控制提供了科学依据。

衍生相关工作

基于DSWx-expanding-validation-dataset，许多经典研究工作得以展开。例如，研究人员利用该数据集开发了新的地表水分类算法，进一步提升了分类精度。此外，该数据集还被用于验证和改进现有的遥感数据处理流程，推动了遥感技术在环境监测中的应用。