玄女底座嵌入数据集

# 玄女底座遥感数据集 > 哈尔滨新区多源遥感数据与预计算嵌入向量 ## 这个数据集是怎么生成的？ 本数据集源于 **Xuannv Foundations** 遥感基础模型项目。生成流程如下： 1. **多源数据输入** — 收集哈尔滨新区 424 个空间格网的多源遥感数据，包括 Sentinel-2 光学影像、Sentinel-1 SAR 影像、Landsat 影像、高分光学/雷达、DEM 高程模型等，时间跨度 2023-01 至 2025-12。 2. **深度编码** — 将原始影像输入 Xuannv Foundations 编码器，经过 SensorEncoderBank（多传感器分别编码）→ STPBlocks（8 层时空编码）→ VMFBottleneck（压缩到 128 维）的处理流程。 3. **嵌入输出** — 每个格网、每个月份输出一个 **128 维的语义嵌入向量**，形状为 `(128, 64, 64)`，已做 L2 归一化，位于单位超球面上。 简单来说：**我们帮你把繁杂的多源遥感影像处理好了，直接给你 128 维的"语义指纹"，你可以立刻用它做下游任务。** --- ### ⚠️ 关于 Embedding PCA-RGB 可视化 嵌入向量是 128 维的抽象特征表示，无法直接以图像形式观看。 可视化时通常采用 PCA（主成分分析）将其降至 3 维，再映射到 RGB 三个颜色通道生成伪彩色图。 **重要声明**： - **PCA-RGB 伪彩色图不代表真实的遥感影像外观。** 它只是对 128 维特征空间的低维投影，颜色仅反映特征间的 统计差异，与真实地表的光谱反射无关。 - 不同时间点的 PCA-RGB 图颜色差异越大，说明嵌入向量变化越大， 但并不直接等价于地物发生了变化。 - 如需查看真实遥感影像，请使用 `raw_data/` 中的原始影像数据。 --- ## 它能做什么？ 拿到这些嵌入向量后，你可以直接做以下事情，无需重新处理原始影像： | 任务 | 原理 | 所需输入 | |------|------|----------| | **🔍 变化检测** | 对比同一位置两期嵌入向量的余弦距离，距离越大变化越显著 | 两期嵌入向量 | | **🌲 土地覆盖分类** | 用 Linear Probe / MLP 在嵌入空间做像素级 11 类分类 | 一期嵌入向量 | | **🏗️ 建筑物提取** | 二分类 MLP 识别建筑区域，F1 可达 0.956 | 一期嵌入向量 | | **💧 水体提取** | 二分类 MLP 识别水体，F1 可达 0.862 | 一期嵌入向量 | | **🛰️ 多传感器融合分析** | 嵌入向量天然融合了 S2 + S1 + Landsat + DEM 的信息 | 一期嵌入向量 | **核心优势**：下游任务模型（变化检测头、分类器）都只有几 MB 到几 MB，推理速度快（CPU 即可），而无需重复跑庞大的编码器。 ## 相关链接 | 资源 | 链接 | 说明 | |------|------|------| | 🌐 **在线展示平台** | http://60.31.21.42:22060/ | 浏览器打开即可体验交互式遥感可视化 | | 📦 **下游任务模型** | [WeijieWu/xuannv-downstream-models](https://modelscope.cn/models/WeijieWu/xuannv-downstream-models) | 变化检测头 + 4 个分类模型 | | 💻 **开源项目仓库** | https://github.com/go-bananas-wwj/xuannv_show | 前后端完整代码、Docker 部署 | | 📒 **快速开始 Notebook** | 本数据集内 `notebooks/xuannv_quickstart.ipynb` | 完整代码教程，从下载到推理 | ## 数据集简介 本数据集包含 **哈尔滨新区**（松北、太阳岛等区域）的 **424 个空间格网**的多源遥感原始数据，以及经过 Xuannv Foundations 编码器预计算的 **128 维嵌入向量**。 - **空间范围**：哈尔滨新区 - **时间范围**：2023-01 至 2025-12 - **格网数量**：424 个 patch（原始分辨率 128×128 像素） - **数据总量**：约 16GB（压缩后） ## 目录结构总览 ``` xuannv_embdding/ ├── README.md # 本说明文档 ├── raw_data/ # 原始遥感数据（需解压 tar.gz） │ ├── scene_index.json # 时间索引（S2/S1/Landsat 的可用日期列表） │ ├── s2.tar.gz # Sentinel-2 光学影像（~4GB） │ ├── s1.tar.gz # Sentinel-1 SAR 影像（~4GB） │ ├── s2_hr.tar.gz # 高分光学影像（~86MB） │ ├── s1_hr.tar.gz # 高分雷达影像（~93MB） │ ├── landsat.tar.gz # Landsat 光学影像（~449MB） │ ├── dynamic_world.tar.gz # Dynamic World 土地利用标签（~24MB） │ ├── dem/ # 数字高程模型（424 个 GeoTIFF） │ ├── worldcover/ # ESA WorldCover 土地覆盖（424 个 GeoTIFF） │ └── jrc_water/ # JRC 全球水体数据（424 个 GeoTIFF） ├── embeddings/ # 预计算嵌入向量（需解压 tar.gz） │ ├── v4_official.tar.gz # V4 版本月度嵌入（~4.2GB） │ └── v5_mixed_scale.tar.gz # V5 混合尺度嵌入（~4.2GB） ├── annotations/ # 变化检测人工标注（shapefile 格式） └── mini_test/ # patch_000186 最小化测试集（~39MB，无需解压） ├── raw_data/ # 该 patch 的全传感器原始数据 └── embeddings/ # 该 patch 的 V4/V5 嵌入向量 ``` > ⚠️ **注意**：文件名以 `.tar.gz` 结尾的目录需要下载后手动解压。其余小目录（dem、worldcover、jrc_water、annotations、mini_test）可直接使用。 --- ## 每个目录详解 ### 1. raw_data/ — 原始遥感数据 所有原始数据按 **传感器类型** 分目录，每个传感器目录下再按 **patch 编号** 分子目录，每个 patch 子目录下是按 **日期** 命名的 GeoTIFF 文件。 **文件组织示例**： ``` raw_data/s2/patch_000186/20230103.tif raw_data/s2/patch_000186/20230105.tif ... raw_data/s2/patch_000187/20230103.tif ``` | 文件/目录 | 传感器 | 类型 | 数量 | 说明 | |-----------|--------|------|------|------| | `s2.tar.gz` | Sentinel-2 | 光学 | 180 景/patch | 10m 分辨率，6 波段（B2,B3,B4,B8,B11,B12） | | `s1.tar.gz` | Sentinel-1 | SAR | 96 景/patch | C 波段，VV/VH 双极化 | | `s2_hr.tar.gz` | 高分光学 | 光学 | ~5 景/patch | 更高空间分辨率的光学影像 | | `s1_hr.tar.gz` | 高分雷达 | SAR | ~4 景/patch | 更高空间分辨率的 SAR 影像 | | `landsat.tar.gz` | Landsat | 光学 | 76 景/patch | 30m 分辨率，波段与 S2 对齐 | | `dynamic_world.tar.gz` | Dynamic World | 标签 | 13 景/patch | Google 9 类土地利用（季度） | | `dem/` | DEM | 高程 | 1 景/patch | 数字高程模型 | | `worldcover/` | ESA WorldCover | 标签 | 1 景/patch | 11 类土地覆盖（静态） | | `jrc_water/` | JRC Water | 标签 | 1 景/patch | 水体/非水体掩码（静态） | **scene_index.json**：记录了 S2、S1、Landsat 三个传感器的所有可用日期字符串列表，格式为 `YYYYMMDD`。 ### 2. embeddings/ — 预计算嵌入向量 嵌入向量是原始遥感数据经过 Xuannv Foundations 编码器后的 128 维特征表示。 | 属性 | 值 | |------|-----| | 文件格式 | NumPy `.npy` | | 数组形状 | `(128, 64, 64)` = `(D, H, W)` | | 数据类型 | `float32` | | 空间分辨率 | 64×64（原始 128×128 经编码器下采样） | | 归一化 | 已 L2 归一化，位于单位超球面 | | 适用距离 | 余弦距离 | **命名规则**：`patch_{6位编号}_{YYYY-MM}.npy` **两个版本**： - **V4 official** (`v4_official.tar.gz`)：标准双窗口时序对比训练，适合通用变化检测基线 - **V5 mixed scale** (`v5_mixed_scale.tar.gz`)：混合长间隔（≥6月）与短间隔（1–3月）时序对比，适合时间敏感任务 ### 3. annotations/ — 变化检测人工标注 shapefile 格式的变化检测标注，包含以下类别： - `june.shp`、`aug.shp`、`September.shp`、`October.shp` — 月度变化标注 - `SAR建筑工地.shp`、`SAR房屋拆除.shp`、`SAR疑似违建.shp`、`SAR非农非粮.shp` — SAR 专题标注 ### 4. mini_test/ — 最小化测试集 包含 **patch_000186** 的全部数据，体积仅 **~39MB**，无需解压，适合快速体验： ``` mini_test/ ├── raw_data/ │ ├── s2/patch_000186/ # Sentinel-2 影像 │ ├── s1/patch_000186/ # Sentinel-1 SAR │ ├── s2_hr/patch_000186/ # 高分光学 │ ├── s1_hr/patch_000186/ # 高分雷达 │ ├── landsat/patch_000186/ # Landsat 影像 │ ├── dem/patch_000186/ # DEM │ ├── worldcover/patch_000186/ # WorldCover │ ├── dynamic_world/patch_000186/ # Dynamic World │ └── jrc_water/patch_000186/ # JRC Water └── embeddings/ ├── v4_official/monthly_embeddings_2025/patch_000186_*.npy └── v5_mixed_scale/monthly_embeddings_2025/patch_000186_*.npy ``` --- ## 快速开始 ### 第一步：安装依赖 ```bash pip install torch numpy scipy scikit-learn joblib matplotlib pillow modelscope ``` ### 第二步：下载数据 **方式 A：下载 mini_test（推荐新手，~39MB）** ```python from modelscope.hub.snapshot_download import dataset_snapshot_download dataset_snapshot_download( dataset_id="WeijieWu/xuannv_embdding", local_dir="./xuannv_demo/data", allow_file_pattern=["mini_test/**"], ) ``` **方式 B：下载完整数据集（~16GB）** ```bash modelscope download --dataset WeijieWu/xuannv_embdding --local_dir ./xuannv_full ``` ### 第三步：解压 tar.gz（完整数据集） ```bash cd xuannv_full/raw_data tar xzf s2.tar.gz tar xzf s1.tar.gz tar xzf s2_hr.tar.gz tar xzf s1_hr.tar.gz tar xzf landsat.tar.gz tar xzf dynamic_world.tar.gz cd ../embeddings tar xzf v4_official.tar.gz tar xzf v5_mixed_scale.tar.gz ``` ### 第四步：加载嵌入向量 ```python import numpy as np # 加载 V5 版本 patch_000186 2025年4月的嵌入向量 emb = np.load("./xuannv_demo/data/mini_test/embeddings/v5_mixed_scale/monthly_embeddings_2025/patch_000186_2025-04.npy") print(emb.shape) # (128, 64, 64) ``` ### 第五步：加载配套模型进行推理 配套下游任务模型请前往：[WeijieWu/xuannv-downstream-models](https://modelscope.cn/models/WeijieWu/xuannv-downstream-models) | 模型 | 任务 | 说明 | |------|------|------| | `monthly_cd_head_v5_final.pt` | 变化检测 | 基于两期嵌入向量输出像素级变化概率 | | `worldcover_linear_probe.pkl` | 土地覆盖分类 | 11 类（ESA WorldCover） | | `dynamic_world_sklearn_mlp.pkl` | 土地利用分类 | 9 类（Google Dynamic World） | | `jrc_water_sklearn_mlp.pkl` | 水体提取 | 二分类 | | `building_sklearn_mlp.pkl` | 建筑物提取 | 二分类 | 完整的代码示例请参阅本数据集内的 `notebooks/xuannv_quickstart.ipynb`。 --- ## 下游任务模型资源 | 资源 | 链接 | |------|------| | **下游任务模型** | [WeijieWu/xuannv-downstream-models](https://modelscope.cn/models/WeijieWu/xuannv-downstream-models) | | **快速开始 Notebook** | 本数据集 `notebooks/xuannv_quickstart.ipynb` | | **在线展示平台** | http://60.31.21.42:22060/ | | **开源项目仓库** | https://github.com/go-bananas-wwj/xuannv_show | --- ## License MIT License — Copyright (c) 2026 Xuannv Foundations **数据使用条款**： - 本数据集仅供学术研究使用 - 原始遥感数据来源于公开卫星影像（Sentinel-2、Sentinel-1、Landsat）及公开产品（ESA WorldCover、Dynamic World、JRC Water） - 嵌入向量为模型预计算输出