ReCon1M

ReCon1M是由中国科学院航空信息研究所创建的大型遥感图像关系理解数据集。该数据集基于Fair1M数据集，包含21,392张图像，标注了859,751个对象边界框和1,149,342个关系三元组，覆盖60个对象类别和64个关系类别。数据集的创建过程涉及专家指导下的新对象标注和统一标注标准的制定。ReCon1M旨在推动遥感图像中对象关系理解的研究，特别是在场景图生成任务中，为模型提供丰富的训练资源和评估基准，以解决现有模型在理解复杂对象关系方面的不足。ReCon1M is a large-scale remote sensing image relationship understanding dataset developed by the Aviation Information Research Institute of the Chinese Academy of Sciences. Built upon the Fair1M dataset, it contains 21,392 images, annotated with 859,751 object bounding boxes and 1,149,342 relationship triplets, covering 60 object categories and 64 relationship categories. The development of ReCon1M involved the formulation of unified annotation standards and the creation of new object annotations under expert supervision. ReCon1M aims to advance research on object relationship understanding in remote sensing images, particularly for the scene graph generation task, by providing abundant training resources and evaluation benchmarks for models to address the shortcomings of existing models in comprehending complex object relationships.

搜集汇总

数据集介绍

构建方式

在遥感图像理解领域，构建大规模关系理解数据集面临标注成本高昂与数据稀缺的挑战。ReCon1M数据集以FAIR1M数据集为基础，通过专业遥感图像解译专家的指导，对21,392张高分辨率遥感图像进行了精细化标注。标注过程采用定向边界框（OBB）对60类对象进行定位，共计标注859,751个对象实例；在此基础上，进一步标注了64类关系，形成1,149,342个关系三元组。为确保标注质量，研究团队制定了统一的标注标准，并采用双团队交叉验证与专家审核机制，有效克服了标注者主观偏差与关系边界模糊等问题。

使用方法

ReCon1M数据集支持多种遥感图像理解任务的评估与算法开发。在对象检测方面，可进行水平边界框检测与定向边界框检测任务，常用评估指标为平均精度均值（mAP）。在场景图生成任务中，数据集支持谓词分类、场景图分类与场景图检测三个子任务，评估多采用Recall@K与平均Recall@K（mR@K）指标。研究者可利用该数据集训练与验证两阶段或单阶段场景图生成模型，例如通过改进的全局上下文感知网络（EGCA-Net）处理密集对象与关系、尺度变化大等挑战。数据集已按比例划分为训练集、验证集与测试集，便于模型训练与性能比较。

背景与挑战

背景概述

遥感影像场景图生成作为高级视觉理解任务，旨在从图像中提取实体及其相互关系，近年来在自然图像领域取得显著进展，但在遥感影像领域的探索仍较为有限。由中国科学院空天信息创新研究院孙宪研究员团队于2024年提出的ReCon1M数据集，作为首个公开的大规模百万级遥感影像关系理解基准数据集，基于FAIR1M数据集构建，包含21,392幅图像、859,751个跨越60个类别的定向边界框标注以及1,149,342个覆盖64个类别的关系三元组。该数据集的核心研究问题在于解决遥感影像中复杂对象关系的系统性建模与理解，通过提供丰富的空间与语义关系标注，显著推动了遥感影像场景图生成及相关视觉推理研究的发展，为深度学习模型在遥感认知任务中的深化应用奠定了关键数据基础。

当前挑战

ReCon1M数据集所针对的遥感影像关系理解领域面临多重挑战。在领域问题层面，遥感影像具有俯瞰视角、尺度差异大、对象密集且背景复杂等特性，使得传统基于自然图像的关系检测模型难以直接迁移，需专门设计以处理定向边界框、长尾分布的关系类别以及隐含的语义关联。构建过程中的挑战尤为突出，遥感影像中对象关系的标注成本极高，标注者易受主观认知偏差影响，且部分关系（如“靠近”）缺乏明确的量化边界，需制定统一的标注标准以确保一致性。此外，数据集中对象与关系类别存在显著的不平衡分布，例如“货车”类别实例占比超过20%，而“加油站”类别仅占0.0014%，这种长尾效应加剧了模型训练与泛化的难度。

常用场景

经典使用场景

在遥感图像分析领域，ReCon1M数据集为场景图生成任务提供了关键支撑。该数据集通过标注超过85万个定向边界框和114万个关系三元组，构建了大规模、细粒度的视觉关系理解基准。其经典应用场景在于训练和评估深度学习模型，以从高分辨率遥感影像中自动提取实体间的空间与语义关联，例如识别港口与船舶的停靠关系、道路与车辆的行驶关系等，从而实现对复杂地理场景的深层结构化解析。

解决学术问题

ReCon1M数据集有效解决了遥感图像理解中关系建模数据匮乏的核心难题。传统遥感研究多集中于目标检测与分类，缺乏对物体间交互关系的系统性标注，制约了场景图生成等高层认知任务的发展。该数据集通过提供百万级关系标注，支持模型学习遥感特有的宽幅视角与密集对象分布下的关系模式，显著推动了空间关系推理、语义关联建模以及长尾分布下关系识别等学术问题的研究进展。

实际应用

在实际应用层面，ReCon1M数据集为城市规划、环境监测、灾害评估等领域提供了技术基础。例如，在城市智慧管理中，基于该数据集训练的模型可自动分析交通枢纽中车辆与道路的动态关系，优化路网设计；在海洋监测中，能识别船舶与港口的供应、停泊等关系，辅助海事监管。这些应用通过提升遥感图像的自动化解释能力，降低了人工判读成本，增强了决策的时效性与准确性。

数据集最近研究

最新研究方向

在遥感图像理解领域，ReCon1M数据集的推出标志着场景图生成研究从自然图像向对地观测领域的深度拓展。该数据集以其百万级的关系标注规模，为复杂空间与语义关系的联合建模提供了前所未有的数据支撑。当前前沿研究聚焦于面向旋转边界框的适配性算法设计，旨在解决遥感影像中物体方向多变、尺度差异显著以及关系分布长尾等核心挑战。学者们正探索全局上下文感知网络，通过融合几何拓扑信息与视觉特征，提升密集场景下的关系推理精度。这一进展不仅推动了视觉关系检测技术在城市规划、环境监测等实际应用中的落地，也为构建更具解释性的遥感智能分析系统奠定了坚实基础。

相关研究论文

• ReCon1M:A Large-scale Benchmark Dataset for Relation Comprehension in Remote Sensing Imagery

  中国科学院航空信息研究所 · 2024年