TerraDiT-data

TerraDiT-data 是一个为 TerraDiT / TerraDiT-Ω 模型设计的衍生条件数据集，不包含原始卫星图像，图像需从 Git-10M 数据集获取。该数据集提供多种地理空间衍生数据，包括：元数据（约 2.0M 行，含图像名称、谷歌位置、经纬度及 Git-10M 索引）、三种测试分割（随机、空间、密集，分别包含 14,932、14,387 和 3,426 个图块）、OSM 标签词汇表（1,711 个标签）、实例几何数据（2.1 GB，包含几何类型、点坐标、边界框、顶点等）、点打包数据（1.2 GB，256x256 的 OSM 标签栅格）以及 RANGE+ 嵌入（约 5 GB 的 2.0M 个 1280 维向量和 0.9 GB 的 330k 个 1280 维向量）。数据规模在 1M 到 10M 之间，采用 Open Database License (ODbL) 1.0 许可。该数据集主要用于训练和评估地理空间条件的生成模型，如 TerraDiT。TerraDiT-data is a derived conditional dataset designed for the TerraDiT / TerraDiT-Ω models. It does not contain original satellite images; images need to be obtained from the Git-10M dataset. This dataset provides various geospatial derived data, including: metadata (approximately 2.0M rows, containing image names, Google locations, latitude/longitude, and Git-10M indices), three test splits (random, spatial, and dense, containing 14,932, 14,387, and 3,426 tiles respectively), an OSM label vocabulary (1,711 labels), instance geometry data (2.1 GB, containing geometry types, point coordinates, bounding boxes, vertices, etc.), point-packed data (1.2 GB, 256x256 OSM label rasters), and RANGE+ embeddings (approximately 5 GB of 2.0M 1280-dimensional vectors and 0.9 GB of 330k 1280-dimensional vectors). The data scale ranges from 1M to 10M, and it is licensed under the Open Database License (ODbL) 1.0. This dataset is primarily used for training and evaluating geospatial conditioned generative models, such as TerraDiT.

搜集汇总

数据集介绍

构建方式

TerraDiT-data 的构建依托于 Git-10M 卫星影像数据集，通过派生条件化组件的方式形成配套资源。该数据集不直接包含影像，而是以元数据行中的 hf_idx 索引 Git-10M 的 train 划分，并整合来自 OpenStreetMap 的标签、点栅格与实例几何信息，以及基于 RANGE 模型计算的地理坐标嵌入。训练与评估所需的分割文件、实例元数据和标签词汇表均按照代码预期的目录结构组织，确保与 TerraDiT 系列模型训练流程无缝对接。

特点

该数据集的核心特征在于其条件化衍生属性与多源地理空间信息的融合。数据规模介于百万至千万级，涵盖 2.0M 通用瓦片、330k 城市子集及 2.0M 含实例几何的瓦片，并提供随机、空间和密集三种测试划分。实例元数据以 npz 格式存储每个实例的几何类型、坐标、边界框、顶点及标签 ID，points.pack 则以 256×256 栅格形式提供城市瓦片的 OSM 标签监督信号。RANGE+ 嵌入以 fp16 精度保存，并与元数据行严格对齐，为地理上下文建模提供高效表征。

使用方法

使用 TerraDiT-data 需先通过提供的下载脚本获取数据，并指定数据根目录与模型家族（如 omega）。数据目录结构镜像代码预期，用户需自行准备 Git-10M 影像副本以读取标题信息，同时可选用 SDXL 潜在编码脚本生成潜变量，或从 Meta 获取 DINOv3 权重。训练或评估时，加载对应的元数据 JSON、实例元数据 npz、RANGE+ 嵌入及标签词汇表，即可按随机、空间或密集划分进行模型条件化输入。所有 OpenStreetMap 衍生数据遵循 ODbL 许可，使用时需遵守相应版权声明。

背景与挑战

背景概述

随着遥感影像生成与地理空间理解研究的深入，如何将OpenStreetMap等结构化地理知识有效注入扩散模型成为关键议题。TerraDiT-data由MVRL实验室于2024年前后构建，旨在为TerraDiT及TerraDiT-Ω模型提供训练与评估所需的条件化派生数据，涵盖200万级瓦片元数据、实例几何、OSM标签词表及RANGE+位置嵌入。该数据集以Git-10M影像快照为索引，不直接分发图像，而是聚焦于地理条件信号的组织与对齐，推动了遥感生成模型在空间可控性与语义一致性方向的发展。

当前挑战

TerraDiT-data所面对的领域问题在于地理条件信号的高维稀疏性与空间异质性之间的张力，即如何从OSM标签与实例几何中提取可泛化的条件表征以驱动高分辨率遥感图像生成。构建过程中，多源数据对齐构成首要难题：200万瓦片元数据需与Git-10M快照的行索引严格对应，实例几何、点栅格与RANGE+嵌入须在瓦片粒度上保持行对齐，任何索引偏移均会导致条件信号错位。此外，OSM标签体系包含1711类键值组合，长尾分布显著，实例密度在稠密与稀疏区域间差异悬殊，为条件建模的平衡性与鲁棒性带来持续挑战。

常用场景

经典使用场景

在遥感图像生成与地理空间理解领域，TerraDiT-data最为经典的使用场景是充当条件扩散模型训练与评估的配套数据资源。该数据集围绕TerraDiT与TerraDiT-Ω两套模型架构，提供经过严格对齐的元数据索引、实例级几何标注、OpenStreetMap标签词表及RANGE+地理坐标嵌入。研究者可借助这些条件信号驱动生成模型合成具有地理语义一致性的卫星影像，并分别在随机划分、空间划分与稠密实例划分的测试集上，系统考察模型在跨区域泛化与复杂场景重构方面的表现。

解决学术问题

该数据集直面遥感生成研究中条件信息匮乏、评测基准不统一、地理泄漏难以控制等长期困扰学术界的难题。通过将两百万级瓦片与OpenStreetMap实例几何、点监督栅格及RANGE+嵌入进行行对齐绑定，它为条件扩散建模提供了可复现的监督信号，并以空间划分测试集缓解随机划分导致的邻域信息泄漏风险。稠密子集进一步聚焦高实例密度场景，使模型在复杂地物格局下的生成质量得以被独立刻画，从而为遥感图像合成研究确立了更为严谨的评测范式。

衍生相关工作

围绕TerraDiT-data，研究者已衍生出TerraDiT与TerraDiT-Ω等一系列条件扩散模型工作，前者侧重全局地理条件注入，后者引入实例级几何约束以提升空间可控性。TerraDiT-Σ则利用城市子集与点监督栅格探索稀疏标注下的生成策略，RANGE与SatCLIP为其提供地理坐标嵌入的基础设施。这些工作相互衔接，共同构成从地理嵌入、条件建模到实例可控生成的完整研究链条，并为后续遥感生成模型的基准比较提供了稳定的起点。