Kingdrone-Junjue/DisasterM3

DisasterM3是一个面向灾害评估和响应的远程遥感视觉语言数据集，具有多灾害、多传感器、多任务特性，包含26,988对双时态卫星图像和123k指令对，跨越五大洲。DisasterM3 is a remote sensing vision-language dataset for disaster damage assessment and response, featuring multi-hazard, multi-sensor, and multi-task characteristics, including 26,988 bi-temporal satellite image pairs and 123k instruction pairs across 5 continents.

搜集汇总

数据集介绍

构建方式

DisasterM3数据集构建于遥感领域对灾害快速响应的迫切需求之上，旨在弥合视觉感知与语言推理之间的鸿沟。其构建过程整合了xBD与BRIGHT等公开数据集，并精心筛选了跨越五大洲的36次重大历史灾害事件，涵盖10种自然与人为灾害类型。为应对极端天气下光学成像受限的挑战，数据集创新性地融合了合成孔径雷达（SAR）与光学多传感器影像，形成了26,988对双时相图像。在此基础上，通过专家标注与自动化流程相结合，生成了123k条指令对，覆盖9种灾害相关的视觉感知与推理任务，从而构建了一个多灾害、多传感器、多任务的视觉语言基准。

特点

该数据集的核心特质在于其多维度的复杂性与统一性。它首次在同一框架下实现了多灾害（Multi-hazard）、多传感器（Multi-sensor）与多任务（Multi-task）的深度融合，显著提升了视觉语言模型（VLM）在灾害评估中的泛化能力。数据涵盖全球范围，其双时相图像结构能够精确捕捉灾前与灾后的场景变化。尤为突出的是，SAR影像的引入克服了云层遮挡对光学遥感的限制，而多样化的任务设计，从简单的图像分类到复杂的视觉问答，全面挖掘了VLM的推理潜力，使其成为全球尺度灾害响应研究的宝贵资源。

使用方法

使用DisasterM3数据集进行模型评估与研发十分便捷。研究者可通过其提供的基准测试代码快速启动实验，例如，对于Qwen2.5 VL模型，仅需在终端执行指定命令并传入相应子集名称（如'bearing_body'）即可完成推理。对于InternVL3等更大规模模型，亦可通过类似脚本配置模型ID与子集（如'report'）进行调用。数据集以HuggingFace格式发布，支持直接加载，其清晰的指令对结构便于微调与零样本评估。研究者应遵守CC BY-NC-SA 4.0许可协议，仅将数据用于学术目的，并在发表成果时引用相关论文。

背景与挑战

背景概述

在全球气候变化与人类活动加剧的背景下，自然灾害频发且破坏力日益增强，对灾后快速评估与应急响应提出了严峻挑战。遥感技术凭借其广覆盖、多时相的优势，成为灾害监测的核心手段，但现有数据集多局限于单一灾害类型或传感器模式，难以支撑复杂场景下的多任务分析。2025年，由Junjue Wang、Weihao Xuan等来自多所机构的研究人员共同构建的DisasterM3数据集应运而生，并被NeurIPS 2025接收。该数据集涵盖5大洲36次重大历史灾害事件，整合了26,988对双时相卫星图像与123K指令对，融合光学与合成孔径雷达（SAR）多传感器数据，设计了包含视觉感知与推理的9类任务，旨在推动视觉语言模型在全球化、多灾害场景下的灾损评估与响应能力，为遥感与人工智能交叉领域提供了高影响力的基准资源。

当前挑战

DisasterM3所面临的挑战首先体现在领域问题的复杂性上：灾害场景具有多灾种、多传感器、多任务的特性，传统单一任务数据集难以捕捉灾害前后地物变化的细微差异，特别是极端天气下光学成像受阻时，需依赖SAR数据实现全天候感知，这对多模态融合与跨任务泛化能力提出了极高要求。在数据集构建过程中，挑战同样显著：需从全球范围内筛选36次具有代表性的历史灾害事件，并确保双时相图像在时间、空间和传感器类型上的一致性；同时，对123K指令对的标注需兼顾语义丰富性与任务多样性，涵盖从建筑损毁分级到灾情文本报告等不同粒度，这要求标注团队具备深厚的遥感与灾害领域知识，且需耗费大量人力进行质量控制与跨任务对齐，以保障数据集的可靠性与可复现性。

常用场景

经典使用场景

DisasterM3作为一个面向全球尺度灾害评估与响应的多灾害、多传感器、多任务视觉-语言数据集，其最经典的使用场景在于驱动视觉-语言模型（VLM）对灾后遥感影像进行细粒度的感知与推理。该数据集包含26,988对双时相卫星影像及123k条指令对，覆盖五大洲36个重大历史灾害事件，涵盖10种常见自然灾害与人为灾难。研究者可利用其构建跨灾害类型的图像分类、语义分割、视觉问答和图像描述等任务，尤其适合评估和提升VLM在复杂灾后场景中的多任务泛化能力，从而推动遥感智能分析从单一视觉任务向多模态理解演进。

实际应用

在实际应用层面，DisasterM3为构建智能化的灾害应急响应系统提供了关键数据支撑。基于该数据集训练的视觉-语言模型，可实现对卫星影像中建筑损伤等级、道路阻塞情况、洪水淹没范围等关键信息的自动识别与语义描述，辅助救援指挥中心快速生成灾情报告。此外，其多传感器特性使得模型能够在多云、夜间等不利观测条件下仍保持有效分析能力，增强了灾害监测的时效性与可靠性。该数据集还可服务于保险定损、灾后重建规划、人道主义援助资源调度等现实场景，通过将遥感数据转化为可读的自然语言信息，降低了非专业人员的决策门槛。

衍生相关工作

DisasterM3的出现催生了一系列衍生研究工作，尤其在视觉-语言模型与遥感灾害理解的交叉领域。一方面，其基准测试集已被广泛用于评估Qwen2.5-VL、InternVL3等主流VLM在灾后场景下的多任务表现，推动了针对遥感领域专用VLM的架构优化与指令微调策略研究。另一方面，该数据集所整合的xBD建筑损伤数据集与BRIGHT灾害事件数据集，为构建更大规模的灾害知识图谱和跨模态检索系统奠定了基础。此外，其公开的代码库与标准化评测流程，也促进了可复现的灾害分析实验范式，激发了学术界在少样本学习、域适应及多传感器融合等方向上的进一步探索。