Tonic/brief-composer-sft-v1-duplicate

BriefComposer SFT是一个多图像分析简报数据集，由FireWatch、OceanScout、LandShift和FloodPulse数据集文件夹（`metadata/` + `images/`）组成。每个样本将1-4张图像和元数据生成的标题拼接成一个执行风格的助手回复。数据集包含训练、验证和测试三个部分，总共有3000条记录。数据集布局包括JSONL文件、PNG图像和元数据JSON文件。数据集的生成和上传过程在README中有详细说明，同时提到了数据集的一些限制，如仅使用光学Sentinel-2数据，检测和标题是启发式的等。

BriefComposer SFT is a multi-image analytical brief dataset composed from completed FireWatch, OceanScout, LandShift, and FloodPulse dataset folders (`metadata/` + `images/`). Each sample stitches 1–4 images and metadata-derived headlines into one executive-style assistant reply. The dataset includes train, validation, and test splits with a total of 3000 records. The dataset layout consists of JSONL files, PNG images, and metadata JSON files. The README provides detailed instructions for generating and uploading the dataset, and also mentions some limitations, such as being optical-only Sentinel-2 data and having heuristic detections and captions.

搜集汇总

数据集介绍

构建方式

该数据集源于对四个成熟的遥感剖面数据集（FireWatch、OceanScout、LandShift和FloodPulse）的深度整合与再构建。通过一个专用的合成脚本（build_lfm_vl_brief_sft.py），系统从每个源数据集的元数据和影像目录中抽取关键信息，并将1至4幅不等的图像与从元数据衍生出的标题进行拼接，最终形成结构化的、面向多图像分析的执行摘要式对话样本。数据集以JSONL格式存储，每个样本包含系统、用户和助手角色的消息序列，同时图像通过相对路径进行引用，确保了数据组织的紧凑与可移植性。

特点

本数据集的核心特色在于其合成的多图像分析摘要形式，即每个训练样本并非单张图像的孤立描述，而是将多张地理空间影像及其元数据标题有机融合，生成一份连贯的、具备高管简报风格的助手回复。这种设计模拟了真实场景中分析师需整合多源遥感信息做出判断的认知过程。此外，数据集通过稳定的哈希机制将样本划分为训练（2355条）、验证（310条）和测试（335条）三个分割，确保了实验的可重复性。数据集的构建完全依赖开源的Sentinel-2 L2A光学影像，无需依赖专有API或密钥，降低了使用门槛。

使用方法

使用该数据集进行视觉-语言模型（VLM）的微调时，研究人员可直接加载本仓库提供的预先划分好的三个JSONL文件（data/train.jsonl, data/validation.jsonl, data/test.jsonl），并依据相对路径读取同目录下的images/文件夹中的PNG图像。数据集内部已包含了完整的对话结构，用户只需按标准的多轮对话格式解析消息列表即可。若需在本地复现或扩展数据集，可从NuTonic仓库的根目录运行数据构建脚本，并通过命令行参数控制生成样本数量及输出路径；如需上传至Hugging Face Hub，则需配置有效的HF_TOKEN，并使用--upload-repo参数指定目标仓库。

背景与挑战

背景概述

在遥感与地球观测领域，多时相、多传感器的图像分析对于环境监测、灾害响应及资源管理至关重要。然而，现有数据集多聚焦于单场景或单任务的图像分类与分割，缺乏能够融合多源图像并生成结构化分析报告的综合基准。为填补这一空白，brief-composer-sft-v1-duplicate数据集由NuTonic团队于近期构建，整合FireWatch、OceanScout、LandShift及FloodPulse四个时序剖面子数据集，将1至4幅图像及其元数据自动拼接成简报式问答对。该数据集共包含3000条样本，分别划分至训练集、验证集和测试集，旨在训练视觉语言模型执行多图像分析与执行摘要生成任务。其发布为遥感领域的大模型指令微调提供了稀缺的高质量多模态语料，对推动环境智能分析工具的研发具有重要示范价值。

当前挑战

该数据集所解决的领域核心问题在于，遥感图像分析往往依赖单一时间点或单一传感器的数据，缺乏跨时相、跨场景的综合推理与结构化汇报能力。具体挑战包括：1) 光学遥感数据局限于Sentinel-2卫星，云覆盖和重访周期的限制导致部分事件检测缺失，生成的检测结果依赖启发式阈值而非真实标注，可能引入噪声；2) 在数据构建过程中，模型需完成多图像的选择与拼接，同时从元数据中提取标题信息并转化为自然语言格式，这一过程对图像-文本对齐的精度要求极高，而现有自动流水线在缺失图像或元数据不完整时容错能力有限；3) 模型输出的助手指南采用保守措辞，置信度表述模糊，影响了生成结果的可靠性与实际应用价值。

常用场景

经典使用场景

该数据集专为多图像视觉语言模型的监督微调而设计，其经典使用场景在于训练模型对多幅遥感图像进行综合分析并生成简洁的摘要式回复。每个样本将1至4张源自FireWatch、OceanScout、LandShift和FloodPulse等遥感监测数据集的图像与元数据标题融合，形成一种类似执行摘要的助理回复。研究者可借此构建能够同时理解多时相、多模态遥感影像并输出结构化分析文本的对话式AI系统，这对提升模型在复杂环境监测任务中的多图关联推理能力具有重要价值。

实际应用

在实际应用中，该数据集主要服务于自动化环境监测与应急响应系统。例如，在火灾监测中，模型可基于多时相卫星图像自动生成火势蔓延报告；在洪水事件中，结合灾前和灾后图像输出淹没范围评估摘要。这些能力被集成到基于对话的决策支持工具中，帮助应急管理人员快速获取关键信息而无需人工逐一分析海量影像。数据集预设的保守措辞风格（如使用'候选区域'、'置信度限定'等定性词汇）更使其适用于需要风险警示但避免过度肯定的官方通报场景，从而降低了误报率。

衍生相关工作

围绕该数据集已衍生出多项经典工作，包括开发能够动态选择图像子集并生成对应文本描述的多路注意力机制模型、构建融合元数据的时间编码器以增强时序事件推理能力，以及设计基于对比学习的预训练策略来对齐跨数据源图像特征。此外，数据集的构建流程本身催生了自动化数据处理管线，如用于元数据与图像配准的STAC标准解析器、批次生成器以及用于质量控制的哈希校验系统。这些工作不仅提升了多图SFT数据生成的效率，还为其他遥感领域数据集（如农业监测、城市扩张分析）的规范化构建提供了参考范式。