RSG

RSG是首个针对大型VHR卫星图像场景图生成的大规模数据集，包含超过210,000个对象和400,000多个三元组，覆盖全球1,273个复杂场景。

RSG is the first large-scale dataset designed for scene graph generation in high-resolution (VHR) satellite imagery, encompassing over 210,000 objects and more than 400,000 triplets, covering 1,273 complex scenes globally.

原始信息汇总

数据集概述

数据集名称

• 名称: RSG (Remote Sensing Graph)
• 描述: 首个针对大型高分辨率卫星图像场景图生成的大规模数据集。

数据集内容

• 对象数量: 超过210,000个对象
• 关系三元组数量: 超过400,000个三元组
• 场景数量: 1,273个全球复杂场景

数据集特点

• 图像尺寸范围: 从512×768到27,860×31,096像素
• 应用: 促进从感知到认知的智能地理空间场景理解
• 挑战: 对象在尺度、宽高比上有巨大变化，存在丰富的对象间关系，包括空间上分离的对象

数据集使用

• 工具包: 提供约30种对象检测方法和10种场景图生成方法的工具包
• 模型性能: 数据集上，HOD-Net和RPCM在对象检测和场景图生成任务中显著优于现有方法

数据集获取

• 公开链接: RSG数据集和工具包

模型发布

• 检测器列表: 包括Deformable DETR, ARS-DETR, RetinaNet, ATSS, KLD, GWD, KFIoU, DCFL, R³Det, S2A-Net, FCOS, CSL, PSC, H2RBox-v2, RepPoints, CFA, Oriented RepPoints, G-Rep, SASM, Faster RCNN, Gliding Vertex, Oriented RCNN, RoI Transformer, LSKNet-T, LSKNet-S, PKINet-S, ReDet, Oriented RCNN (Swin-L)等。
• 性能指标: 提供每种检测器的mAP值和配置文件链接
• 下载链接: 提供每种检测器的日志和模型检查点下载链接

搜集汇总

数据集介绍

构建方式

在遥感图像领域，场景图生成（SGG）技术的应用日益广泛，然而，针对大尺寸高分辨率卫星图像（VHR SAI）的SGG数据集却相对匮乏。为此，研究团队构建了名为STAR的数据集，该数据集涵盖了从512 × 768到27,860 × 31,096像素不等的图像，包含超过210,000个对象和400,000个关系三元组。STAR数据集的构建过程中，研究者们采用了上下文感知的级联认知（CAC）框架，以实现对卫星图像的对象检测、配对修剪和关系预测，从而全面支持SGG任务。

特点

STAR数据集的显著特点在于其规模之大和复杂性之高。该数据集不仅包含了超过210,000个对象和400,000个关系三元组，还跨越了1,273个全球复杂场景，图像尺寸范围广泛，从512 × 768到27,860 × 31,096像素不等。此外，STAR数据集还特别考虑了卫星图像中对象的尺度变化和长宽比差异，以及对象间丰富的关系，包括空间上不连续的对象关系，这使得该数据集在SGG任务中具有极高的应用价值。

使用方法

使用STAR数据集进行研究和开发时，用户首先需要克隆项目代码库，并创建一个conda虚拟环境。随后，安装必要的依赖包，包括PyTorch和其他相关库。数据集和预训练模型可以通过提供的链接进行下载。研究者可以使用该数据集进行对象检测、关系预测等任务的训练和评估。此外，项目还提供了一系列预训练模型，用户可以根据需要选择合适的模型进行微调或直接应用。详细的安装和使用指南可以在项目的README文件中找到。

背景与挑战

背景概述

在遥感图像分析领域，场景图生成（Scene Graph Generation, SGG）技术旨在从感知到认知的层面提升对地理空间场景的理解。然而，现有的SGG数据集主要集中在自然图像上，无法直接应用于大尺寸、高分辨率的卫星图像（Very-High-Resolution Satellite Imagery, VHR SAI）。为此，Li等人于2024年提出了STAR数据集，这是首个针对大尺寸VHR SAI的SGG数据集。STAR数据集包含了超过210,000个对象和400,000个关系三元组，覆盖了全球1,273个复杂场景。该数据集的构建不仅填补了领域空白，还为后续研究提供了丰富的资源，推动了遥感图像分析技术的发展。

当前挑战

STAR数据集的构建面临多重挑战。首先，大尺寸VHR SAI中对象的尺度与长宽比变化极大，且对象间存在丰富的关系，包括空间上不连续的对象间的关系，这增加了数据标注的复杂性。其次，现有的SGG模型主要针对小尺寸自然图像设计，无法直接应用于大尺寸VHR SAI，需要开发新的模型和方法。此外，数据集的构建过程中，如何高效地挖掘和标注关系三元组，以及如何确保数据集的多样性和代表性，都是亟待解决的问题。这些挑战不仅影响了数据集的质量，也制约了其在实际应用中的效果。

常用场景

经典使用场景

在卫星图像分析领域，STAR数据集的经典使用场景主要集中在场景图生成（SGG）任务中。该数据集通过提供大规模的高分辨率卫星图像，涵盖了全球1,273个复杂场景，包含超过210,000个对象和400,000个关系三元组。这些数据为研究人员提供了丰富的资源，用于开发和验证针对大尺寸卫星图像的场景图生成模型。通过STAR数据集，研究者可以训练和评估模型在复杂地理环境中的对象检测、关系预测和场景理解能力，从而推动卫星图像分析技术的发展。

实际应用

在实际应用中，STAR数据集为卫星图像的自动化分析提供了强大的支持。通过该数据集训练的模型可以广泛应用于国土资源管理、城市规划、环境监测和灾害预警等领域。例如，在国土资源管理中，模型可以自动识别和分类不同类型的土地利用情况，为政策制定提供科学依据。在城市规划中，模型可以帮助识别和分析城市中的建筑布局和交通网络，优化城市设计。此外，在环境监测和灾害预警中，模型可以快速识别和定位自然灾害的影响区域，提高应急响应的效率。

衍生相关工作

基于STAR数据集，研究者们开发了多种先进的场景图生成模型和工具，推动了卫星图像分析技术的进步。例如，CAC（Context-Aware Cascade Cognition）框架的提出，通过上下文感知的方式提升了卫星图像的理解能力。此外，MMRotate工具包的发布，集成了多种对象检测和场景图生成方法，为研究者提供了丰富的资源和工具。这些衍生工作不仅在学术界引起了广泛关注，也在实际应用中展现了巨大的潜力，为卫星图像分析领域的发展注入了新的活力。