xuannv_haidian_embdding

# 玄女海淀地理嵌入 V1 `haidian-embedding-v1` 是面向北京市海淀区的月度地理 embedding 生产版。它把 Sentinel-2、Sentinel-1、Landsat、高分辨率光学、高分辨率 SAR 和 OSM 弱语义信息融合到统一的 64 维空间表征中，输出每个 1280m x 1280m patch 的 `64 x 128 x 128` dense embedding map。 这个数据集用于发布生产 artifact：模型权重、2025-12 至 2026-05 的月度 embedding、下游轻量头、全域可视化和 manifest。代码、配置和评测脚本在 GitHub 分支 `haidian-embedding-v1-production`。 ## 适用场景 - 少量标注快速制图：建筑、道路、水体等类别只标少量样本后训练轻量头。 - 多任务复用：同一份 embedding 支持多个下游任务，不需要每个任务重新处理多源遥感输入。 - 区域语义检索：用一个局部区域的 embedding 检索海淀区内相似地物。 - 月度地表表达：对 2025-12 至 2026-05 的海淀区 patch 生成统一表征。 ## 不适用场景 - 该版本是海淀区专用生产版，不承诺跨城市、跨传感器域直接泛化。 - 随包下游头是 fold-0 quick eval 结果，不等价于完整业务验收。 - OSM 是弱标签，存在漏标、错标和时间滞后；下游结果应结合人工抽检。 ## 目录 ```text artifacts/haidian-embedding-v1/ checkpoints/haidian_embedding_v1_p10c_epoch800.pt downstream_heads/ building_mlp_fold0_best.pt road_mlp_fold0_best.pt water_mlp_fold0_best.pt construction_conv3x3_fold0_best.pt landuse_conv3x3_fold0_best.pt embeddings/haidian_202512_202605_p10c_epoch800.tar.gz visualizations/ manifests/haidian_artifacts_manifest.json ``` ## 文件说明 | 路径 | 内容 | 大小 | SHA256 | | --- | --- | ---: | --- | | `artifacts/haidian-embedding-v1/checkpoints/haidian_embedding_v1_p10c_epoch800.pt` | P10C epoch800 embedding 主模型权重 | 407,703,076 bytes | `69dfd81c898544413a747f5c7304cc9210ad1cf420ce724864b8bd7deb6ed790` | | `artifacts/haidian-embedding-v1/embeddings/haidian_202512_202605_p10c_epoch800.tar.gz` | 六个月海淀区 320 patch embedding 压缩包 | 7,309,392,235 bytes | `d9b9d1c838611be08bbcd69f340edc7d8bb17d609fcc2dcf5a32e0317e652e24` | | `artifacts/haidian-embedding-v1/downstream_heads/building_mlp_fold0_best.pt` | 建筑提取 MLP 下游头 | - | 见 manifest | | `artifacts/haidian-embedding-v1/downstream_heads/road_mlp_fold0_best.pt` | 道路提取 MLP 下游头 | - | 见 manifest | | `artifacts/haidian-embedding-v1/downstream_heads/water_mlp_fold0_best.pt` | 水体提取 MLP 下游头 | - | 见 manifest | | `artifacts/haidian-embedding-v1/downstream_heads/construction_conv3x3_fold0_best.pt` | 施工工地检测 Conv3x3 下游头 | 597,046 bytes | 见 manifest | | `artifacts/haidian-embedding-v1/downstream_heads/landuse_conv3x3_fold0_best.pt` | OSM 土地利用多分类 Conv3x3 下游头 | 305,941 bytes | 见 manifest | | `artifacts/haidian-embedding-v1/metrics/construction_conv3x3_fold0_metrics.json` | 施工工地检测指标 | - | 见 manifest | | `artifacts/haidian-embedding-v1/metrics/landuse_conv3x3_fold0_metrics.json` | 土地利用多分类指标 | - | 见 manifest | | `artifacts/haidian-embedding-v1/visualizations/` | 320 patch 全域 PCA 和下游可视化 | - | - | | `artifacts/haidian-embedding-v1/manifests/haidian_artifacts_manifest.json` | 完整路径、大小、校验和、指标清单 | - | - | ## 模型与数据 - 生产权重：P10C epoch800 - 区域：北京市海淀区 320 个 patch - 月份：2025-12 至 2026-05 - 输出：每个 patch 每个月 `64 x 128 x 128` embedding map，以及一个 scene-level embedding - 训练信号：多源重建、高分辨率重建、OSM 弱语义、困难重建 ## 快速指标：2026-04 核心任务 2026-04 fold-0 quick eval，当前随包发布的是轻量 MLP pixel probe。阈值在验证集选择，再报告测试集结果。 | 任务 | F1_best | AP | AUC-ROC | mIoU | Precision | Recall | | --- | ---: | ---: | ---: | ---: | ---: | ---: | | 建筑 Building | 0.4832 | 0.4392 | 0.8956 | 0.3181 | 0.4083 | 0.5900 | | 道路 Road | 0.5232 | 0.5726 | 0.8363 | 0.3540 | 0.5077 | 0.5389 | | 水体 Water | 0.6306 | 0.6092 | 0.9012 | 0.4600 | 0.7749 | 0.5309 | 说明： - **F1_best**：验证集选阈值后，在测试集上的最佳 F1，综合考虑 precision 和 recall。 - **AP**：Average Precision，反映排序质量，适合类别不均衡任务。 - **AUC-ROC**：阈值无关的二分类区分能力。 - **mIoU**：预测区域和真实区域的交并比。 ## 与 baseline 的对比 ### 少样本制图：玄女 embedding vs 原始影像强基线 这个场景是玄女 embedding 的核心价值：只标很少的 patch，快速训练下游头，然后在海淀区 320 个 patch 全域制图。 | 任务 | Shot | 玄女最佳 F1 | Raw 最佳 F1 | 相对提升 | 玄女 AP | Raw AP | 玄女 AUC | Raw AUC | | --- | ---: | ---: | ---: | ---: | ---: | ---: | ---: | ---: | | 建筑 Building | 5 | 0.459 | 0.418 | +9.8% | 0.413 | 0.354 | 0.879 | 0.858 | | 建筑 Building | 10 | 0.454 | 0.439 | +3.5% | 0.405 | 0.375 | 0.883 | 0.874 | | 建筑 Building | 50 | 0.490 | 0.467 | +5.0% | 0.448 | 0.409 | 0.898 | 0.888 | | 道路 Road | 5 | 0.474 | 0.401 | +18.3% | 0.507 | 0.329 | 0.795 | 0.740 | | 道路 Road | 10 | 0.487 | 0.435 | +11.8% | 0.511 | 0.374 | 0.803 | 0.768 | | 道路 Road | 50 | 0.517 | 0.501 | +3.3% | 0.561 | 0.523 | 0.828 | 0.820 | | 水体 Water | 5 | 0.613 | 0.433 | +41.5% | 0.599 | 0.468 | 0.878 | 0.816 | | 水体 Water | 10 | 0.612 | 0.487 | +25.6% | 0.583 | 0.488 | 0.874 | 0.810 | | 水体 Water | 50 | 0.631 | 0.631 | 基本持平 | 0.613 | 0.625 | 0.894 | 0.878 | ### 完整监督：玄女轻量头 vs 原始影像强模型 当每个任务有较充分标签，并允许原始影像训练 UNet/DeepLab-lite 这类强模型时，raw image strong baseline 仍然很强。这也是当前版本的已知边界。 | 任务 | 玄女 P10C conv3x3 F1 | 原始影像最佳 F1 | 原始影像最佳模型 | | --- | ---: | ---: | --- | | 建筑 Building | 0.484 | 0.503 | Raw image + UNet | | 道路 Road | 0.520 | 0.580 | Raw image + UNet | | 水体 Water | 0.623 | 0.667 | Raw image + DeepLab-lite | 说明：该指标用于生产包快速验收。更完整的 few-shot、raw image baseline 和强下游模型对比见 GitHub 分支中的 `docs/production/`。 ## 可视化结果 ### Embedding PCA 下图是 2026-04 海淀区 320 个 patch 的 embedding PCA 全域可视化。颜色来自 embedding 主成分，不是人工标签；相近颜色通常表示 embedding 认为语义/纹理更相近。  P10A/P10B/P10C 三个候选版本 PCA 对比：  ### 建筑提取 Building  ### 道路提取 Road  ### 水体提取 Water  ## 扩展下游头：土地利用与施工工地 本次额外发布两个基于 `haidian-embedding-v1` 的轻量 Conv3x3 下游头。它们不重新训练主 embedding，只在冻结的 64 维 embedding 上训练小型任务头，用于展示 embedding 的多任务扩展能力。 | 任务 | 标签来源 | Head | 评测范围 | 关键指标 | | --- | --- | --- | --- | --- | | 施工工地 Construction | 人工 LabelMe 施工地标注 | Binary Conv3x3 | 62 个有人工标注的 patch，fold-0 | F1_best 0.5495 / AP 0.5435 / AUC 0.9590 / mIoU 0.3670 | | 土地利用 Land-use | OSM 弱语义合并标签，11 类 | Multiclass Conv3x3 | 320 个 patch，fold-0 | Macro-F1 0.3941 / Micro-F1 0.4985 / mIoU 0.2688 / OA 0.4985 | 土地利用类别包括：background、residential、commercial、industrial、agriculture、green、recreation、construction、water、building、transport。表现较好的类别包括 green、water、agriculture、residential、transport、building；commercial、industrial 等细类仍受 OSM 弱标签噪声和类别混杂影响。 注意：施工工地人工真值只覆盖 62 个 patch；下面的 320 patch 施工工地图是模型在全域上的推理结果，不是全域人工真值对比。 ### 土地利用 Land-use OSM 弱标签 320 patch 全域分布：  玄女 embedding + Conv3x3 土地利用预测：  ### 施工工地 Construction Site 施工工地 320 patch 全域推理结果：  施工工地人工标注 patch 的 GT 与预测结果：   ## 快速开始 ### 1. 下载 artifact 可以直接在 ModelScope 页面下载，也可以使用 ModelScope SDK 下载数据集快照。 ```bash pip install modelscope python - <<'PY' from modelscope.hub.snapshot_download import snapshot_download snapshot_download( repo_id="WeijieWu/xuannv_haidian_embdding", repo_type="dataset", local_dir="/data/xuannv_embedding/modelscope_download/xuannv_haidian_embdding", ) PY ``` ### 2. 解压月度 embedding ```bash cd /data/xuannv_embedding/modelscope_download/xuannv_haidian_embdding tar -xzf artifacts/haidian-embedding-v1/embeddings/haidian_202512_202605_p10c_epoch800.tar.gz \ -C /data/xuannv_embedding/embeddings/production ``` 解压后每个 patch 的结构类似： ```text haidian/patch_000000/ 202512_embedding_map.pt 202512_scene_embedding.pt ... 202605_embedding_map.pt 202605_scene_embedding.pt ``` ### 3. 使用 GitHub 代码重新导出 embedding ```bash git clone [e-mail]:go-bananas-wwj/xuannv_embdding.git cd xuannv_embdding git checkout haidian-embedding-v1-production bash scripts/production/export_haidian_v1_embeddings.sh ``` ### 4. 训练或评估下游头 ```bash python scripts/production/run_haidian_downstream_probe.py \ --embedding-root /data/xuannv_embedding/embeddings/production/<export_dir> \ --output-root /data/xuannv_embedding/experiments/production/haidian_v1_downstream \ --month 202604 \ --tasks building road water \ --device npu:0 \ --head mlp \ --save-predictions ``` ## 复现与版本 - GitHub 分支：`haidian-embedding-v1-production` - 源实验：`v2_p10c_haidian_202512_202605_osm_semantic_hardneg_20260704` - 选定权重：`epoch_800.pt` - 生产包 manifest：`artifacts/haidian-embedding-v1/manifests/haidian_artifacts_manifest.json` ## 引用 如果在汇报或实验中使用该版本，请注明： ```text Xuannv Haidian Embedding V1, P10C epoch800, 2025-12 to 2026-05 monthly geospatial embeddings. ModelScope dataset: WeijieWu/xuannv_haidian_embdding. ```