NuTonic/sat-vl-sft-postprocessed-merged-v1

`NuTonic/sat-bbox-metadata-sft-v1` 是一个**以元数据为先、程序化的VLM SFT数据集**，基于现有的“sat-bbox”风格数据集构建（包含Sentinel-2图像块和每块的JSON元数据文件，可选配Mapbox静态图像）。目标是创建**高信号、生产形态的监督**，用于多模态聊天模型：
- 卫星图像块的**标注**
- 土地覆盖区域的**定位**（归一化坐标中的边界框）
- 特定土地覆盖类别的**类聚焦标注**和**缺失检查**
- 使用可选Mapbox俯瞰上下文进行**跨视图推理**
- **类似生产的分析摘要**，包括：
- Sentinel-2图像
- 额外的程序化“分析图像”（类似TiM的预测类别栅格）
- 紧凑的**TiM形态分析JSON块**
- 特定配置的助手摘要（土地利用变化、野火、洪水脉冲等）

该数据集**不调用Mapbox API**，仅使用输入数据集根目录中已有的路径。

`NuTonic/sat-bbox-metadata-sft-v1` is a **metadata-first, procedural VLM SFT dataset** built from an existing “sat-bbox” style dataset tree (Sentinel‑2 chips + per-tile JSON metadata sidecars, optionally paired Mapbox stills). The goal is to create **high-signal, production-shaped supervision** for multimodal chat models:
- **Captioning** for satellite chips
- **Grounding** (bounding boxes in normalized coordinates) for land-cover regions
- **Class-focused captions** and **absence checks** for specific land-cover classes
- **Cross-view** reasoning using optional Mapbox overhead context
- **Production-like analytical summaries** that include:
- Sentinel‑2 imagery
- An additional procedural “analysis image” (a TiM-like predicted-class raster)
- A compact **TiM-shaped analytics JSON** block
- A profile-specific assistant summary (land use change, wildfire, flood pulse, etc.)

This dataset is generated **without calling Mapbox APIs**; it only uses paths that already exist in the input dataset root.

搜集汇总

数据集介绍

构建方式

该数据集采用元数据优先的程序化构建范式，从已有的卫星图像标注数据树中提取Sentinel-2影像切片及每瓦片的JSON元数据侧车文件。构建器遍历元数据目录下的JSON文件，通过tile_stem字段与主数据JSONL文件建立关联，依据配置为每个瓦片生成多条指令微调样本。每条记录包含格式化的多轮对话，其中用户消息可嵌入多张图像与文本指令，助手回复则根据任务类型输出对应的结构化内容。数据集针对生产分析场景还额外生成TiM风格的分析JSON块以及程序化渲染的PNG分析图像，整个过程无需调用Mapbox API，完全基于本地已有路径完成构建。

特点

该数据集具有显著的多任务复合特性，涵盖图像描述、边界框定位、类别聚焦描述、类别缺失判定及跨视角推理等多样化指令任务。其核心特色在于引入了面向生产环境的分析摘要任务，融合Sentinel-2影像、程序化分析图像与紧凑的TiM风格JSON数据结构，模拟真实场景下的分析师报告输出。所有边界框坐标均经过归一化处理至0-1范围，土地覆盖类别遵循Google Dynamic World v1的九分类体系。数据集规模介于十万至百万量级，采用标准的分片存储策略确保每个目录文件数不超过9000个以适配HuggingFace的Git存储限制。

使用方法

数据集以JSONL格式存储于data目录下，按训练、验证、测试三组划分，每条记录遵循多模态聊天模型的标准消息列表结构。使用时可加载JSONL文件并解析messages字段中的图像路径与文本指令，直接用于视觉语言模型的有监督微调。图像文件分别存储在images、mapbox_stills与analysis_images子目录中，通过相对路径与JSONL记录关联。开发者可根据任务类型字段筛选所需样本，例如针对边界框定位任务可使用grounding_all或grounding_per_class类型的数据，而生产分析任务则需同时加载多个图像与对应的元数据侧车文件以完成模型训练。

背景与挑战

背景概述

该数据集由NuTonic团队于近期创建，聚焦于遥感视觉-语言模型（VLM）的指令微调（SFT），旨在解决卫星图像理解中的多模态对齐问题。研究核心在于通过程序化生成方法，将Sentinel-2卫星影像及其元数据转换为高信号、生产级监督信号，涵盖描述、定位（边界框）、类别焦点描述及跨视角推理等任务。基于Google Dynamic World v1的土地覆盖分类体系（含9类），该数据集显著推动了遥感领域与大型语言模型的融合，为环境监测、土地利用变化分析等应用提供了关键训练资源，对提升模型在复杂地理空间场景下的可解释性与鲁棒性具有重要影响。

当前挑战

该数据集面临的领域挑战包括：1) 遥感图像的多尺度、多视角特性导致视觉-语言对齐困难，现有模型难以在宏观场景与局部细节间建立一致语义关联；2) 土地覆盖类别的模糊边界（如农作物与灌木混淆）及动态变化（如洪水植被）对定位与分类精度构成严峻考验。构建挑战则源于：3) 程序化生成依赖元数据质量，原始侧边栏可能包含噪声或不完整标注，需设计稳健的过滤机制；4) 跨任务（如生产性分析与空类检测）的统一格式对齐复杂，需平衡模板化输出与真实科学测量的差异性，避免过拟合于合成信号。

常用场景

经典使用场景

在遥感与视觉语言交叉领域中，该数据集常被用于多模态指令微调，特别是基于卫星影像的感知与推理任务。其经典应用场景涵盖卫星图版的自然语言描述生成、基于归一化坐标的边界框定位、特定地物类别的选择性描述与缺失性判断，以及利用Mapbox俯瞰图进行跨视角语义对齐。这一数据集通过程序化流程将元数据转化为结构化对话样本，支持模型学会以规范格式输出图文交织的分析型回复，尤适用于训练具备“分析型助理”能力的视觉语言模型。

实际应用

在实际应用中，该数据集主要服务于遥感智能分析系统的开发与优化。例如，国土监测系统可基于此训练模型实现土地利用变化追踪，快速生成带有边界框的地物分布报告；应急响应平台可借助其生产分析任务，在洪涝或火灾场景下自动输出灾情摘要；城市规划部门则能利用跨视角推理能力，结合卫星与街景图像评估建设进展。此外，该数据集还支持环境监测中“从感知到报告”的端到端自动化流程，助力行业降本增效。

衍生相关工作

围绕该数据集衍生出一系列经典工作，包括基于动态世界语义标签的多任务遥感VLM统一框架、融合TiM样式结构化分析信号的指令微调策略，以及程序化生成范式在遥感元数据监督中的扩展应用。后续研究进一步探索了将生产分析任务与模拟遥感数据结合，训练模型对不可见地物场景进行稳健推理；另有工作在此基础上引入时间序列元数据，推动时序型跨模态分析模型的发展。这些衍化工作共同确立了程序化元数据驱动方法在遥感SFT领域的关键地位。