SA-Occ Dataset

SA-Occ数据集是中国科学院空天信息研究院等机构创建的，用于卫星辅助3D占有率预测的第一个实时卫星图像数据集。该数据集利用GPS和IMU数据从Google Earth获取卫星图像，补充了现有的仅依赖街道视图的3D占有率预测方法。数据集整合了卫星和街道视图，旨在解决动态目标和远距离区域的感知问题，为自动驾驶提供增强的感知能力。The SA-Occ dataset is the first real-time satellite image dataset dedicated to satellite-aided 3D occupancy prediction, developed by the Aerospace Information Research Institute of the Chinese Academy of Sciences and other relevant institutions. It acquires satellite imagery from Google Earth using GPS and IMU data, complementing existing 3D occupancy prediction methods that solely rely on street view data. By integrating both satellite and street view data, this dataset aims to address perception challenges posed by dynamic objects and distant regions, providing enhanced perception capabilities for autonomous driving.

搜集汇总

数据集介绍

构建方式

SA-Occ数据集的构建基于卫星图像与街景图像的融合，旨在提升自动驾驶中的3D场景理解能力。通过利用GPS和IMU数据，实时获取车辆的位置和方向，并从Google Earth中裁剪出相应的卫星图像切片。这一方法不仅确保了卫星图像与街景图像的空间对齐，还通过动态解耦融合模块解决了卫星图像与街景图像之间的时间异步问题。此外，3D投影引导模块和均匀采样对齐模块的引入，进一步增强了卫星图像在3D建模中的表现力。

特点

SA-Occ数据集的特点在于其首次将卫星图像实时整合到3D场景理解任务中，显著提升了自动驾驶系统在遮挡和远距离区域的感知能力。数据集通过动态解耦融合模块有效解决了卫星图像与街景图像之间的动态目标不一致性问题，确保了动态区域的准确感知。此外，3D投影引导模块和均匀采样对齐模块的引入，使得卫星图像能够更好地捕捉3D几何信息，并与街景图像的特征进行有效融合。数据集的高分辨率和广泛覆盖范围使其适用于复杂的3D场景理解任务。

使用方法

SA-Occ数据集的使用方法主要围绕其卫星图像与街景图像的融合框架展开。首先，通过GPS和IMU数据获取车辆的实时位置和方向，裁剪出相应的卫星图像切片。接着，利用动态解耦融合模块处理卫星图像与街景图像之间的动态目标不一致性问题，确保动态区域的准确感知。3D投影引导模块则用于增强卫星图像中的3D几何信息提取，而均匀采样对齐模块则通过预定义的3D点云投影，确保卫星图像与街景图像在BEV空间中的采样密度一致。最终，通过多模块的协同工作，SA-Occ能够显著提升3D场景理解的精度和效率。

背景与挑战

背景概述

SA-Occ数据集是由中国科学院空天信息创新研究院的陈晨等研究人员于2025年提出的，旨在解决自动驾驶领域中基于视觉的3D占用预测问题。该数据集首次将卫星图像与街景图像相结合，利用GPS和IMU数据实时整合历史卫星图像，以弥补街景图像在遮挡和远距离区域感知上的不足。SA-Occ通过动态解耦融合、3D投影引导和均匀采样对齐等创新方法，显著提升了3D占用预测的精度，尤其在单帧方法中达到了39.05%的mIoU，较现有方法提升了6.97%。该数据集的推出为自动驾驶中的环境感知提供了新的视角，推动了卫星与街景跨视图感知技术的发展。

当前挑战

SA-Occ数据集在构建和应用过程中面临多重挑战。首先，卫星图像与街景图像的时间异步性导致动态目标（如车辆和行人）在两种视图中的表现不一致，这需要通过动态解耦融合模块来解决。其次，卫星图像本质上是2D的，难以直接提取3D信息，因此引入了3D投影引导模块，以增强卫星视图中的3D特征提取。此外，街景图像在近处采样密集而远处稀疏，与卫星视图的均匀采样特性不匹配，这需要通过均匀采样对齐模块来弥合。这些挑战不仅影响了数据集的构建，也对模型的实时性和精度提出了更高的要求。

常用场景

经典使用场景

SA-Occ数据集在自动驾驶领域中被广泛用于3D场景理解任务，尤其是在复杂城市环境中。通过结合卫星图像和街景图像，该数据集能够有效解决街景图像中常见的遮挡和远距离区域感知不足的问题。经典的使用场景包括自动驾驶车辆的实时环境感知、路径规划以及动态障碍物检测。

实际应用

在实际应用中，SA-Occ数据集为自动驾驶系统提供了更为全面的环境感知能力。通过结合卫星图像，车辆能够在复杂的城市环境中更准确地识别远距离目标和被遮挡区域，从而提升驾驶安全性和路径规划的准确性。此外，该数据集还可用于智能交通系统中的实时监控和动态障碍物检测，为城市交通管理提供数据支持。

衍生相关工作

SA-Occ数据集的提出推动了卫星与街景跨视角感知领域的研究。基于该数据集，许多相关工作进一步探索了卫星图像在3D场景理解中的应用，例如跨视角图像生成、精细化的建筑物属性分割以及动态目标检测。此外，该数据集还为自动驾驶领域中的多模态数据融合提供了新的思路，激发了更多关于卫星与街景协同感知的研究。