RSG

RSG数据集是由武汉大学遥感信息工程学院创建的大型高分辨率卫星图像场景图生成数据集，包含超过210,000个对象和400,000个关系三元组。数据集覆盖从512×768到27,860×31,096像素的图像大小，涉及11种复杂地理场景，如机场、港口等。创建过程中，所有对象被分类为48个细粒度类别，并精确标注了方向边界框。RSG数据集旨在推动卫星图像的智能理解和认知解释任务，如图像检索、图像描述和视觉问答，服务于交通规划、电路布局和军事态势感知等领域。

The RSG Dataset is a large-scale high-resolution satellite image dataset for scene graph generation, created by the School of Remote Sensing Information Engineering, Wuhan University. It contains over 210,000 objects and 400,000 relationship triplets. The dataset supports image sizes ranging from 512×768 to 27,860×31,096 pixels, and covers 11 complex geographic scenarios such as airports, ports and other typical sites. During the dataset construction process, all objects were categorized into 48 fine-grained categories, with precise directional bounding box annotations. The RSG Dataset aims to advance intelligent understanding and cognitive interpretation tasks for satellite images, including image retrieval, image captioning and visual question answering, and serves applications in domains such as transportation planning, circuit layout and military situational awareness.

搜集汇总

数据集介绍

构建方式

在遥感影像场景图生成领域，现有数据集普遍存在图像尺寸小、标注规模有限等不足。为填补大规模甚高分辨率卫星影像场景图生成数据集的空白，RSG数据集通过系统性采集与精细化标注流程构建而成。研究团队从Google Earth平台收集了空间分辨率介于0.15米至1米之间的影像，覆盖全球超过1200个与人类活动紧密相关的复杂地理场景，如机场、港口、核电站等。所有影像均保持原始大尺寸，范围从512×768像素至27,860×31,096像素，以完整保留场景的宏观布局与微观细节。在标注过程中，由领域专家指导制定了精细化的标注规范，采用旋转边界框对48类细粒度目标进行精确标注，并依据8大类58小类的关系体系，对超过40万个三元组进行了人工标注，确保了空间与语义信息的准确性。

使用方法

为促进大尺寸甚高分辨率卫星影像场景图生成研究的发展，RSG数据集配套发布了专用的工具包与基准评测体系。研究者可利用该工具包中集成的约30种目标检测方法与10种场景图生成方法，快速开展算法验证与比较研究。数据集已按实例数量与场景类型划分为训练集、验证集与测试集，支持端到端的模型训练与评估。在具体任务设置上，除了常规的目标检测任务，场景图生成任务可进一步细分为谓词分类、场景图分类与场景图生成三个子任务，分别对应不同的输入条件与输出要求。评估指标采用了适应多标签关系的多标签召回率与调和均值，并针对大尺寸影像中三元组数量庞大的特点，将召回阈值K设置为1000与1500，以更全面地衡量模型性能。通过这一完整的使用框架，RSG旨在为领域内的方法创新与性能突破提供坚实的数据基础与评测标准。

背景与挑战

背景概述

RSG数据集由武汉大学等机构的研究团队于2024年构建，旨在解决超高分辨率大尺寸卫星影像中场景图生成的重大数据缺口。该数据集聚焦于地理空间场景的认知理解，核心研究问题在于如何从像素级感知跃升至结构化语义推理，即自动检测影像中的对象并预测其间丰富的语义关系。RSG涵盖全球1,273个复杂场景，包含超过21万个精细标注的对象和40万个关系三元组，影像尺寸最高达27,860×31,096像素，空间分辨率介于0.15米至1米之间。作为首个面向大尺寸VHR卫星影像的大规模场景图数据集，RSG推动了遥感分析从传统目标检测向深层关系推理的范式转变，为图像检索、视觉问答等下游任务提供了至关重要的基础支撑。

当前挑战

RSG数据集所应对的核心领域挑战，在于大尺寸超高分辨率卫星影像中场景图生成的独特复杂性。这包括对象尺度与长宽比的极端差异、空间非连续对象间关系的长程上下文推理，以及旋转不变的关系语义建模。在构建过程中，研究团队面临多重挑战：其一，在保持大型对象完整性的同时，需精准标注海量小尺度对象，对标注规范与质量控制提出极高要求；其二，关系标注需克服自然影像中方向性描述的局限性，建立绝对空间语义体系，并定义涵盖距离预警、空间拓扑、功能描述等8大类58细类的层次化关系分类系统；其三，处理影像尺寸巨大导致的存储与计算瓶颈，并设计能够有效筛选高价值对象对、避免负样本偏差的算法框架。

常用场景

经典使用场景

在遥感图像智能解译领域，RSG数据集为大规模高分辨率卫星影像中的场景图生成任务提供了关键数据支撑。该数据集通过标注超过21万个对象实体和40万个语义三元组，构建了从感知到认知的桥梁，使得模型能够学习对象间的复杂空间与功能关系。其经典使用场景在于训练和评估端到端的场景图生成模型，这些模型需要同时完成多类别目标检测与关系推理，从而实现对地理场景的深层语义理解。

解决学术问题

RSG数据集有效解决了遥感场景理解中缺乏大规模标注数据的瓶颈问题，为场景图生成这一高阶认知任务提供了基准测试平台。它针对卫星影像中物体尺度差异大、方向任意以及关系依赖远程上下文等特点，设计了精细的定向边界框标注与多层次关系分类体系。该数据集推动了遥感领域从传统的目标检测、场景分类等感知任务，向需要关系推理与语义关联的认知任务跨越，为地理空间智能的发展奠定了数据基础。

实际应用

在实际应用中，基于RSG数据集训练的模型能够服务于城市规划、交通管理、环境监测和国防安全等多个领域。例如，在港口监控中，系统可自动分析船舶与码头间的停靠、远离等关系，辅助调度与安全管理；在电力设施巡检中，可识别变电站、输电塔之间的电路连接关系，评估电网运行状态。这些应用将静态的物体检测提升为动态的场景态势理解，显著提升了遥感数据自动化分析的决策支持能力。

数据集最近研究

最新研究方向

在遥感影像分析领域，场景图生成技术正从感知理解迈向认知推理的新阶段。RSG数据集的提出，标志着大尺寸超高分辨率卫星影像场景图生成研究进入前沿探索。当前研究聚焦于解决大尺寸影像中物体尺度差异显著、空间关系复杂等核心挑战，通过构建上下文感知的级联认知框架，实现从物体检测、对筛选到关系预测的全流程优化。该方向与地理空间智能、智慧城市等热点领域深度融合，推动了遥感影像从目标识别到场景理解的范式转变，为图像检索、视觉问答等下游任务提供了结构化知识支撑，具有重要的学术价值与应用前景。

相关研究论文

• Scene Graph Generation in Large-Size VHR Satellite Imagery: A Large-Scale Dataset and A Context-Aware Approach

  武汉大学遥感信息工程学院 · 2024年