RS3DBench

RS3DBench 是一个用于遥感影像三维空间感知的综合基准数据集，包含 54951 对像素级对齐的遥感图像和深度图，以及相应的文本描述，覆盖广泛的地理环境。该数据集旨在为训练和评估遥感图像空间理解任务中的三维视觉感知模型提供工具。数据集的创建过程包括 RGB 和深度数据捕获、深度对齐、GLM-v4 推断和人工验证四个关键阶段。RS3DBench 的应用领域包括三维地形建模、动态环境模拟、数字城市和地质灾害早期预警等。RS3DBench is a comprehensive benchmark dataset for 3D spatial perception of remote sensing imagery. It contains 54,951 pairs of pixel-level aligned remote sensing images and depth maps, along with corresponding textual descriptions, covering a wide range of geographic environments. This dataset is designed to provide tools for training and evaluating 3D visual perception models in spatial understanding tasks of remote sensing imagery. The creation process of the dataset includes four key stages: RGB and depth data acquisition, depth alignment, GLM-v4 inference, and manual verification. Application fields of RS3DBench include 3D terrain modeling, dynamic environment simulation, digital cities, early warning of geological disasters, and other related scenarios.

搜集汇总

数据集介绍

构建方式

在遥感三维感知研究领域，数据采集的精确性与多样性始终是推动模型发展的关键。RS3DBench通过半自动化流程构建，整合多源数字高程模型数据，包括ALOS AW3D30、SwissALTI3D激光雷达融合数据及Sentinel-2衍生的澳大利亚地形数据，覆盖平原、山地、海洋等六类地貌。数据经过坐标系统一转换与RGB影像严格配准，采用GLM-v4模型生成地形语义文本描述，并通过人工校验确保像素级对齐质量，最终形成包含54,951组遥感图像-深度图-文本描述的高质量三元组数据集。

特点

作为首个具备空间信息对齐能力的遥感三维基准数据集，RS3DBench的突出特性体现在其多尺度分辨率架构与全球地理覆盖广度。数据集提供30米至0.5米四种分辨率样本，涵盖四大洲不同地理环境，深度值分布横跨-149至4813米高程范围。其独特价值在于实现了遥感影像与数字高程模型的像素级时空对齐，并融合地理语义文本标注，为三维地形建模与动态环境仿真等任务提供关键几何先验，有效弥补传统遥感数据集在空间信息表征方面的空白。

使用方法

该数据集为遥感三维视觉任务提供标准化评估框架，支持深度估计、地形分类等多模态学习研究。使用者可通过划分训练集与测试集进行模型训练与验证，利用配对的RGB-DEM数据学习从遥感影像到地形高程的映射关系。文本描述可作为语义引导信号融入扩散模型训练，提升复杂地貌的深度推理精度。数据集配套的评估协议包含平均绝对误差、均方根误差及阈值精度等指标，确保模型性能的可比性与可复现性，为地理人工智能应用提供可靠数据基础。

背景与挑战

背景概述

遥感三维空间感知领域长期受限于缺乏像素级对齐的空间信息数据集，制约了地理人工智能的发展。浙江大学团队于2025年提出的RS3DBench基准数据集，通过整合多源卫星数据构建了54,951组遥感图像与数字高程模型的精确对齐样本，覆盖四大洲六类地形。该数据集突破了传统遥感数据仅提供二维标注的局限，为三维地形建模、数字城市建设等应用提供了关键几何先验，推动了遥感视觉语言导航与大尺度环境理解的研究进程。

当前挑战

该数据集致力于解决遥感图像三维感知的核心难题：其一，传统遥感数据缺乏深度信息或存在RGB-D错位问题，导致模型难以进行精确空间推理；其二，构建过程中需克服多源数据坐标系统一、时序不一致性及云层干扰等技术瓶颈，通过半自动化流水线实现像素级对齐。同时，数据分布差异使得自然场景模型迁移至遥感领域时面临尺度敏感性问题，如10像素级地物特征提取困难，亟需开发适应遥感特性的跨域感知算法。

常用场景

衍生相关工作

基于该数据集衍生的经典工作包括融合地理语义的深度估计算法Marigold-RS，该模型通过引入文本描述引导的扩散过程，在复杂地形场景中实现了突破性性能。此外，数据集还催生了多尺度地形分析框架、跨域自适应方法等系列研究，推动了遥感三维感知与自然语言处理的交叉融合，为地理人工智能领域开辟了新的研究方向。

数据集最近研究

最新研究方向

随着地理空间智能技术的飞速发展，遥感三维空间感知已成为前沿研究热点。RS3DBench作为首个融合像素级对齐深度信息与多模态描述的遥感基准数据集，推动了基于扩散模型的深度估计方法在复杂地形解析中的创新应用。当前研究聚焦于跨模态协同优化，通过引入地理语义文本嵌入增强生成式模型的几何一致性，显著提升了山脉、平原等多变地形的深度重建精度。该数据集不仅填补了遥感领域高精度三维数据空白，更为数字城市建模、地质灾害预警等地理人工智能应用提供了关键数据支撑，引领着遥感视觉-语言融合推理技术的新范式。

相关研究论文

• 通过

  浙江大学计算机科学与技术学院, 浙江大学软件学院, 杭州城市大学 · 2025年