面向遥感智能体的多模态图文指令大规模数据集

随着遥感应用不断从静态图像分析迈向智能化认知决策任务，构建覆盖多任务、多模态的信息融合数据体系已成为推动遥感基础模型发展的关键前提。本文围绕遥感智能体中的感知、认知需求，提出并构建了一个面向多任务图文指令的遥感多模态数据集，系统组织图像、文本指令、空间坐标与行为轨迹等多模态信息，统一支撑多阶段任务链路的训练与评估。该数据集涵盖9类核心任务，包括关系推理、指令分解、任务调度、定位描述与多模态感知等，共计21个子数据集，覆盖光学、SAR与红外三类遥感模态，总体数据规模超过2百万样本。在数据构建过程中，本文针对遥感图像的特性设计了标准化的指令格式，提出统一的输入输出范式，确保不同任务间的互通性与可迁移性。同时，设计自动化数据生成与转换流程，以提升多模态样本生成效率与一致性。此外，本文还介绍了在遥感基础模型上的基线性能评估结果，验证了该数据集在多任务泛化学习中的实用价值。该数据集可广泛服务于遥感领域多模态基础模型的构建与评估，尤其适用于统一感知-认知-决策闭环流程的智能体模型开发，具有良好的研究推广价值与工程应用前景。
原始数据集来源于电子信息学报，来源文章为：王佩瑾, 胡会扬, 冯瑛超, 刁文辉, 孙显. 面向遥感智能体的多模态图文指令大规模数据集[J]. 电子与信息学报. doi: 10.11999/JEIT250818
数据集原始网站为：https://www.scidb.cn/detail?dataSetId=da7b29c9762c44e0860dac311cc55f60&version=V1&code=j00173