FIT-RS

FIT-RS是一个大规模的细粒度指令调整数据集，包含1,800,851个高质量指令样本，旨在增强RSLMMs的细粒度理解能力。

FIT-RS is a large-scale fine-grained instruction tuning dataset, comprising 1,800,851 high-quality instruction samples, designed to enhance the fine-grained comprehension capabilities of RSLMMs.

原始信息汇总

SkySenseGPT数据集概述

数据集介绍

主要内容

• FIT-RS (Remote Sensing Fine-Grained Instruction Tuning) 数据集: 包含1,800,851个高质量指令样本，旨在提升远程感知大型多模态模型（RSLMMs）的细粒度理解能力，特别是在复杂远程感知场景中理解对象间语义关系的能力。
• FIT-RSRC (Remote Sensing Relation Comprehension) 基准: 采用常用的单选题格式和CircularEval策略，包含高质量的干扰选项和不可回答问题，旨在评估LMMs的远程感知关系理解能力。

数据集详情

FIT-RS

• 描述: 大规模细粒度指令调整数据集，包含1,800,851个高质量指令样本，旨在增强RSLMMs的细粒度理解能力。

FIT-RSRC

• 描述: 为全面和量化评估现有LMMs在远程感知关系理解方面的能力而设计的基准。采用单选题形式，包含四种不同类型的问题和高质量干扰选项，使用CircularEval作为评估策略。

下载链接

• FIT-RS: 包含1800k指令样本的细粒度远程感知指令调整数据集。
• FIT-RSRC: 用于远程感知关系理解评估的单选题基准。
• SkySenseGPT: 远程感知大型多模态模型。

许可证

本项目基于Apache 2.0许可证发布。

引用

若此工作对您的研究有所帮助，请考虑给此仓库加星⭐并引用我们的论文: bibtex @article{luo2024sky, title={SkySenseGPT: A Fine-Grained Instruction Tuning Dataset and Model for Remote Sensing Vision-Language Understanding}, author={Luo, Junwei and Pang, Zhen and Zhang, Yongjun and Wang, Tingzhu and Wang, Linlin and Dang, Bo and Lao, Jiangwei and Wang, Jian and Chen, Jingdong and Tan, Yihua and Li, Yansheng}, journal={arXiv preprint arXiv:2406.10100}, year={2024} }

搜集汇总

数据集介绍

构建方式

FIT-RS数据集的构建基于对遥感图像与语言理解任务的深入分析，旨在提升遥感大型多模态模型（RSLMMs）的细粒度理解能力。该数据集包含了1,800,851个高质量的指令样本，覆盖了多种视觉语言理解任务。通过精心设计的指令样本，FIT-RS数据集能够有效评估和提升模型在复杂遥感场景中对物体间语义关系的理解能力。此外，FIT-RS数据集还构建了FIT-RSFG和FIT-RSRC两个基准，分别用于细粒度理解和关系理解能力的评估，采用了单选题格式和CircularEval策略，确保评估的全面性和准确性。

特点

FIT-RS数据集的主要特点在于其大规模和高质量的指令样本，这些样本能够有效提升遥感大型多模态模型（RSLMMs）的细粒度理解能力。数据集涵盖了多种视觉语言理解任务，包括图像级别的场景图生成等复杂任务。此外，FIT-RS数据集还包含了高质量的干扰选项和无法回答的问题，这些设计能够全面评估模型的遥感关系理解能力。通过FIT-RSFG和FIT-RSRC两个基准，数据集能够提供细粒度和关系理解能力的综合评估。

使用方法

使用FIT-RS数据集进行模型训练和评估时，首先需要下载数据集的训练集和基准测试集，如FIT-RSFG和FIT-RSRC。接着，安装必要的软件包，确保环境配置符合要求。随后，可以参考提供的评估脚本进行模型的训练和评估。FIT-RS数据集适用于提升遥感大型多模态模型（RSLMMs）的细粒度理解能力和关系理解能力，特别适用于处理复杂遥感场景中的视觉语言理解任务。

背景与挑战

背景概述

FIT-RS（Remote Sensing Fine-Grained Instruction Tuning）数据集由Luo-Z13团队于2024年创建，旨在提升遥感大型多模态模型（RSLMMs）在复杂遥感场景中对物体间语义关系的细粒度理解能力。该数据集包含1,800,851个高质量指令样本，覆盖多种视觉语言理解任务。FIT-RS的提出不仅填补了遥感领域细粒度理解数据集的空白，还通过FIT-RSFG和FIT-RSRC两个基准测试，为评估RSLMMs的细粒度理解能力提供了标准化的工具。

当前挑战

FIT-RS数据集在构建过程中面临多重挑战。首先，遥感图像的复杂性和多样性使得数据标注和质量控制成为一大难题。其次，如何设计有效的指令样本以捕捉场景中的细微语义关系，是提升模型理解能力的关键。此外，构建FIT-RSFG和FIT-RSRC基准测试时，需确保评估方法的公正性和全面性，以准确衡量模型的性能。这些挑战不仅推动了数据集的精细化设计，也为后续研究提供了宝贵的经验和方向。

常用场景

经典使用场景

FIT-RS数据集在遥感视觉语言理解领域中，主要用于增强大型多模态模型（RSLMMs）对复杂遥感场景中物体间语义关系的细粒度理解能力。通过提供1,800,851个高质量的指令样本，FIT-RS能够帮助模型在处理图像级场景图生成等复杂理解任务时，更准确地捕捉和解析场景中的细微关系。

解决学术问题

FIT-RS数据集解决了遥感领域中缺乏细粒度理解能力评估标准的学术问题。通过建立FIT-RSFG和FIT-RSRC两个基准，该数据集为研究人员提供了一个系统化的评估工具，能够量化和比较不同模型在遥感关系理解方面的性能。这不仅推动了遥感多模态模型的发展，也为相关领域的研究提供了新的视角和方法。

衍生相关工作

基于FIT-RS数据集，研究者们开发了SkySenseGPT模型，该模型能够处理复杂的遥感理解任务。此外，FIT-RS还启发了多个相关研究，如场景图生成和遥感关系理解等领域的深入探索。这些工作不仅丰富了遥感多模态模型的研究内容，也为实际应用提供了技术支持。