ZhanYang-nwpu/SkyEye-968k

--- license: cc-by-4.0 --- # SkyEyeGPT: Unifying Remote Sensing Vision-Language Tasks via Instruction Tuning with Large Language Model <div align="center"> <strong>Author: Yang Zhan, Zhitong Xiong, Yuan Yuan</strong> <strong>School of Artificial Intelligence, OPtics, and ElectroNics (iOPEN), Northwestern Polytechnical University</strong> </div> This is the official instruction dataset for paper **"SkyEyeGPT: Unifying Remote Sensing Vision-Language Tasks via Instruction Tuning with Large Language Model"**. [paper](https://arxiv.org/abs/2401.09712) ### You can focus on the official repository [here](https://github.com/ZhanYang-nwpu/SkyEyeGPT) ### You can focus on remote sensing multimodal large language model (Vision-Language) [here](https://github.com/ZhanYang-nwpu/Awesome-Remote-Sensing-Multimodal-Large-Language-Model) ## 📢 Latest Updates This is an ongoing project. We will be working on improving it. - 📦 Chatbot, codebase, datasets, and models coming soon! 🚀 - **Jun-12-2024**: RS instruction dataset SkyEye-968k is released. 🔥🔥 - **Jan-18-2024**: paper is released. 🔥🔥 - **Jan-17-2024**: A curated list about [remote sensing multimodal large language model (Vision-Language)](https://github.com/ZhanYang-nwpu/Awesome-Remote-Sensing-Multimodal-Large-Language-Model) is created. 🔥🔥 ---许可证：CC BY 4.0 # SkyEyeGPT：基于大语言模型（Large Language Model）指令微调统一遥感视觉语言任务 <div align="center"> <strong>作者：杨展、熊梓桐、袁媛</strong> <strong>西北工业大学人工智能、光学与电子学院（iOPEN）</strong> </div> 本数据集为论文《SkyEyeGPT：基于大语言模型指令微调统一遥感视觉语言任务》的官方指令数据集。[论文](https://arxiv.org/abs/2401.09712) ### 官方仓库可访问[此处](https://github.com/ZhanYang-nwpu/SkyEyeGPT) ### 遥感多模态大语言模型（Vision-Language）精选列表可访问[此处](https://github.com/ZhanYang-nwpu/Awesome-Remote-Sensing-Multimodal-Large-Language-Model) ## 📢 最新动态 本项目仍在持续迭代优化中。 - 📦 聊天机器人、代码库、数据集与模型即将上线！🚀 - **2024年6月12日**：遥感指令数据集SkyEye-968k正式发布。🔥🔥 - **2024年1月18日**：论文正式上线。🔥🔥 - **2024年1月17日**：创建了遥感多模态大语言模型（Vision-Language）精选列表。🔥🔥

原始信息汇总

SkyEyeGPT: Unifying Remote Sensing Vision-Language Tasks via Instruction Tuning with Large Language Model

数据集概述

• 名称: SkyEyeGPT
• 作者: Yang Zhan, Zhitong Xiong, Yuan Yuan
• 机构: School of Artificial Intelligence, OPtics, and ElectroNics (iOPEN), Northwestern Polytechnical University
• 许可证: cc-by-4.0
• 相关论文: SkyEyeGPT: Unifying Remote Sensing Vision-Language Tasks via Instruction Tuning with Large Language Model

数据集更新

• Jun-12-2024: 发布了RS instruction dataset SkyEye-968k。
• Jan-18-2024: 相关论文发布。
• Jan-17-2024: 创建了关于remote sensing multimodal large language model (Vision-Language)的精选列表。

项目状态

• 该项目正在持续进行中，未来将发布Chatbot、代码库、数据集和模型。

搜集汇总

数据集介绍

构建方式

在遥感视觉与语言任务的统一框架下，SkyEye-968k数据集通过指令调优与大型语言模型的结合，精心构建而成。该数据集汇集了大量高质量的遥感图像与相应的文本描述，旨在训练模型能够理解和生成与遥感数据相关的自然语言指令。通过系统的数据清洗和标注流程，确保了数据集的多样性和准确性，为后续的模型训练提供了坚实的基础。

特点

SkyEye-968k数据集以其独特的多模态特性著称，涵盖了遥感图像与自然语言的深度融合。数据集不仅包含了丰富的图像数据，还配备了详尽的文本描述，使得模型能够在视觉与语言之间建立有效的关联。此外，数据集的规模庞大，达到了968k条记录，确保了训练过程中的数据充足性。这些特点使得SkyEye-968k成为遥感领域内视觉-语言任务的理想选择。

使用方法

SkyEye-968k数据集适用于多种遥感视觉-语言任务的模型训练与评估。用户可以通过加载数据集，利用其中的图像与文本对进行模型的预训练或微调。数据集的结构设计便于用户进行数据分割和处理，支持自定义的训练流程。此外，数据集还提供了详细的文档和示例代码，帮助用户快速上手并实现高效的模型训练。

背景与挑战

背景概述

在遥感技术与人工智能的交叉领域，西北工业大学人工智能、光学与电子学学院（iOPEN）的杨展、熊志东和袁媛团队于2024年1月18日发布了名为SkyEyeGPT的研究论文，该论文通过指令调优与大型语言模型相结合，旨在统一遥感视觉语言任务。SkyEye-968k数据集作为该研究的核心组成部分，于2024年6月12日正式发布，标志着遥感领域在多模态大语言模型应用上的重要进展。该数据集的创建不仅推动了遥感图像与自然语言处理技术的融合，还为后续研究提供了丰富的数据资源，预计将在遥感图像分析、目标识别等关键领域产生深远影响。

当前挑战

SkyEye-968k数据集在构建过程中面临多重挑战。首先，遥感图像与自然语言的结合需要克服数据异构性问题，确保图像与文本信息的高效对齐。其次，数据集的规模庞大，涉及968,000条指令，如何确保数据的质量和一致性是一个重大挑战。此外，遥感领域的特殊性要求数据集在处理复杂地理环境和多变气象条件下的图像时，具备高度的鲁棒性和适应性。最后，随着遥感技术的不断发展，数据集需要持续更新以适应新的应用场景和技术需求，这要求研究团队具备持续创新和快速响应的能力。

常用场景

经典使用场景

在遥感领域，SkyEye-968k数据集的经典使用场景主要集中在视觉与语言任务的统一调优上。该数据集通过大规模语言模型进行指令调优，旨在解决遥感图像与自然语言描述之间的多模态任务。具体而言，研究者可以利用此数据集训练模型，使其能够理解和生成与遥感图像相关的自然语言描述，从而实现图像标注、场景理解及信息提取等任务。

实际应用

在实际应用中，SkyEye-968k数据集可广泛应用于遥感图像的自动标注、场景理解和信息提取等领域。例如，在农业监测中，该数据集可以帮助模型自动识别和描述农田的作物类型和生长状态；在城市规划中，它可以用于自动生成城市建筑和基础设施的描述，从而辅助决策制定。此外，该数据集还可应用于灾害监测和环境评估等场景，提升遥感数据的实用价值。

衍生相关工作

SkyEye-968k数据集的发布催生了多项相关经典工作。例如，基于该数据集的研究者们开发了多种遥感多模态大语言模型，这些模型在视觉与语言任务的统一调优上取得了显著进展。此外，该数据集还激发了关于如何更有效地利用大规模语言模型进行遥感数据处理的讨论和研究，推动了遥感领域多模态学习的理论和实践发展。