nasa-cisto-data-science-group/satvision-pretrain-small

Satvision Pretraining Dataset - Small数据集由NASA GSFC CISTO Data Science Group开发，用于预训练视觉变换器模型。该数据集通过webdatasets构建，以减少在HPC系统中使用的inode数量。每个文件包含100000个图块，每个图块包含图像输入和注释对。数据集进一步压缩以便于从HuggingFace下载。预训练模型基于SwinV2架构，使用MODIS表面反射数据，采用掩码图像建模（MIM）对比预训练策略进行训练。预训练数据的分辨率为128x128，窗口大小为16x16，模型在8x A100 GPU和12x V100 GPU上进行了800个epoch的预训练。Satvision Pretraining Dataset - Small was developed by the NASA GSFC CISTO Data Science Group for pre-training vision transformer models. This dataset is constructed using webdatasets to reduce the number of inodes utilized in HPC systems. Each file contains 100,000 image tiles, where each tile consists of an image input and annotation pair. The dataset is further compressed to facilitate downloading from HuggingFace. The pre-trained model is based on the SwinV2 architecture, trained using MODIS surface reflectance data with a masked image modeling (MIM) contrastive pre-training strategy. The resolution of the pre-training data is 128×128, with a window size of 16×16. The model was pre-trained for 800 epochs on 8× A100 GPUs and 12× V100 GPUs.

原始信息汇总

数据集概述

数据集名称

• 名称： Satvision Pretraining Dataset - Small

开发机构

• 开发机构： NASA GSFC CISTO Data Science Group

数据集类型

• 类型： 预训练视觉Transformer模型数据集

许可证

• 许可证： Apache license 2.0

数据集结构

• 文件结构： 每个文件包含100000个瓦片，每对瓦片包含图像输入和注释。
• 压缩方式： 数据进一步压缩以简化从HuggingFace的下载。

预训练模型详情

• 模型名称： SatVision-Base (SatVis-B)
• 模型架构： 基于SwinV2模式架构的预训练视觉Transformer
• 预训练数据： 全球MODIS表面反射率数据，使用1.99百万图像瓦片
• 预训练策略： 使用掩码图像建模（MIM）对比预训练策略
• 预训练细节： 分辨率为128x128，窗口大小为16x16，预训练800个周期，使用8x A100 GPUs和12x V100 GPUs

预训练模型参数

名称	预训练周期	预训练分辨率	参数数量	预训练模型
SatVision-Base	800	128x128	84.5m	checkpoint/config

预训练数据集详情

名称	波段	分辨率	瓦片数量	每像素米数
MODIS-Small	7	128x128	1,994,131	500m