nuScenes-Geography

该仓库提供了nuScenes-Geography数据集的官方开发工具包，用于空间检索增强自动驾驶任务。数据集包含基于GPS坐标检索的离线地理图像（卫星/街景），并通过空间检索适配器和可靠性估计门进行多任务学习。

This repository provides the official development kit for the nuScenes-Geography dataset, which is tailored for spatial retrieval-augmented autonomous driving tasks. The dataset contains offline geospatial images (satellite/street view) retrieved based on GPS coordinates, and supports multi-task learning via spatial retrieval adapters and reliability estimation gates.

原始信息汇总

SpatialRetrievalAD 数据集与开发套件概述

数据集基本信息

• 数据集名称: nuScenes-Geography
• 官方开发套件仓库: https://github.com/SpatialRetrievalAD/SpatialRetrievalAD-Dataset-Devkit
• 数据集托管地址: https://huggingface.co/datasets/SpatialRetrievalAD/nuScenes-Geography-Data
• 相关论文: Spatial Retrieval Augmented Autonomous Driving (arXiv:2512.06865)
• 项目主页: https://spatialretrievalad.github.io/

数据集简介

该数据集为论文《Spatial Retrieval Augmented Autonomous Driving》中提出的 nuScenes-Geography 数据集，并提供了官方的开发套件。其核心是引入了一种新颖的空间检索范式，该范式基于GPS坐标检索离线的地理图像（卫星/街景），以增强自动驾驶任务。数据集旨在为多任务学习提供支持，设计了一个即插即用的空间检索适配器和一个可靠性估计门，用于将外部知识鲁棒地融合到模型表示中。

数据集内容与结构

数据集文件结构组织如下：

nuScenes-Geography-Data ├── frame_metadata.json ├── pano_metadata.json ├── unavailable_metadata.json ├── sat │ ├── boston-seaport.png │ ├── singapore-hollandvillage.png │ ├── singapore-onenorth.png │ └── singapore-queenstown.png └── streetview ├── quality_labels.json └── panos ├── <pano_id_0>.jpg └── <pano_id_1>.jpg

• 包含卫星图像和街景图像。
• 提供了与nuScenes数据集场景对应的元数据文件。
• 包含了图像质量标签。

多任务实现

所有实现仓库均托管在 SpatialRetrievalAD 组织下，涵盖以下任务：

• 生成式世界模型: https://github.com/SpatialRetrievalAD/Generative-World-Model
• 端到端规划: https://github.com/SpatialRetrievalAD/End2End-Planning
• 在线建图: https://github.com/SpatialRetrievalAD/Online-Mapping
• 占据栅格预测: https://github.com/SpatialRetrievalAD/Occupancy-Prediction
• 3D目标检测: https://github.com/SpatialRetrievalAD/3D-Detection

安装与使用

开发套件安装

bash git clone https://github.com/SpatialRetrievalAD/SpatialRetrievalAD-Dataset-Devkit.git cd SpatialRetrievalAD-Dataset-Devkit pip install -e .

数据集下载

从Hugging Face下载数据集： bash hf download SpatialRetrievalAD/nuScenes-Geography-Data --repo-type=dataset

使用指南

• 在自有项目中使用数据集，请参考指南：docs/usage.md。
• 数据集重建的详细信息，请参考：docs/reconstruction.md。

引用

@misc{spad, title={Spatial Retrieval Augmented Autonomous Driving}, author={Xiaosong Jia and Chenhe Zhang and Yule Jiang and Songbur Wong and Zhiyuan Zhang and Chen Chen and Shaofeng Zhang and Xuanhe Zhou and Xue Yang and Junchi Yan and Yu-Gang Jiang}, year={2025}, eprint={2512.06865}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2512.06865}, }

搜集汇总

数据集介绍

构建方式

在自动驾驶领域，数据集的构建往往依赖于多模态信息的融合。nuScenes-Geography数据集通过创新的空间检索范式，将离线地理图像与nuScenes数据集进行对齐。其构建过程首先基于nuScenes场景中的GPS坐标，从卫星图像和街景图像中检索对应的地理视觉数据。这些地理图像经过严格的坐标匹配和质量筛选，确保与原始nuScenes数据在空间上精确对应。数据集进一步通过元数据文件记录每帧图像的关联信息，并标注了不可用数据的详细情况，从而形成一个结构清晰、覆盖全面的多模态自动驾驶增强数据集。

特点

该数据集的核心特点在于其独特的多模态融合架构，将地理视觉信息与自动驾驶感知数据有机结合。数据集提供了高分辨率的卫星图像和街景全景图，这些图像与nuScenes中的场景在空间分布上保持高度一致。通过精心设计的元数据系统，数据集能够精确映射每个自动驾驶帧对应的地理图像，并包含质量标签以评估数据的可靠性。这种设计使得数据集不仅扩展了自动驾驶任务的视觉上下文，还为模型引入了丰富的先验地理知识，为空间感知和决策任务提供了更全面的环境理解基础。

使用方法

使用该数据集时，研究人员可通过官方提供的开发工具包快速集成地理视觉数据到现有自动驾驶流程中。数据集采用模块化目录结构，用户只需按照指定路径加载卫星图像和街景图像，并结合元数据文件建立与nuScenes数据的关联。开发工具包提供了便捷的数据接口，支持将地理图像作为外部知识注入到多任务学习框架中。用户可参照提供的多任务实现示例，将数据集应用于生成式世界模型、端到端规划、在线建图等任务，通过空间检索适配器实现地理知识与模型表征的稳健融合。

背景与挑战

背景概述

在自动驾驶技术迅猛发展的背景下，环境感知与决策系统的知识来源往往局限于车载传感器的实时数据，缺乏对静态地理先验信息的有效利用。nuScenes-Geography数据集于2025年12月由复旦大学可信具身智能研究所、上海交通大学等机构的研究团队联合发布，旨在通过空间检索范式，将离线地理图像（如卫星影像和街景）与nuScenes数据集的多模态驾驶场景进行对齐。该数据集的核心研究问题在于如何将广泛可得的静态地理知识注入动态驾驶任务中，以增强模型对复杂环境的理解与预测能力，为自动驾驶的感知、规划与生成建模等多任务学习提供了新的数据基础，推动了地理先验与实时感知融合的研究方向。

当前挑战

该数据集致力于解决自动驾驶领域中地理先验知识融合的挑战，具体包括如何将静态、宏观的地理图像与动态、微观的车载传感器数据在时空维度上精确对齐，以及如何设计鲁棒的融合机制以避免噪声干扰并提升模型泛化性能。在构建过程中，研究团队面临数据采集与处理的复杂性，例如大规模卫星与街景图像的获取、坐标匹配的精度保障，以及不同地理区域图像质量与覆盖度的不一致性，这些因素均对数据集的完整性与可靠性构成了显著挑战。

常用场景

经典使用场景

在自动驾驶研究领域，nuScenes-Geography数据集为空间检索增强范式提供了核心支持。该数据集通过整合卫星影像与街景图像，构建了与nuScenes场景精确对齐的多模态地理信息库。研究者可依据车辆实时GPS坐标，动态检索离线地理图像，进而为感知、预测与规划任务注入丰富的先验环境知识。这种基于地理位置的知识检索机制，已成为提升自动驾驶系统环境理解能力的关键技术路径。

解决学术问题

该数据集有效应对了自动驾驶系统中动态环境建模与先验知识融合的学术挑战。传统方法往往依赖实时传感器数据，缺乏对静态地理结构的深层理解。nuScenes-Geography通过提供大规模、高精度的地理图像对，使模型能够学习场景的拓扑结构与语义布局，从而显著缓解了在复杂城市场景中因遮挡、光照变化等因素导致的感知不确定性。其意义在于开创了以地理信息为桥梁的检索式增强学习框架，为多任务协同优化奠定了数据基础。

衍生相关工作

围绕该数据集衍生的经典工作主要集中在多任务学习架构的创新上。研究团队开发了即插即用的空间检索适配器与可靠性估计门控机制，实现了地理知识到模型表征的鲁棒融合。后续工作如生成式世界模型、端到端规划、在线建图、占据栅格预测及三维检测等任务，均在此基础上构建了统一的检索增强范式。这些工作不仅验证了地理先验知识的有效性，也推动了自动驾驶系统从单一感知向认知决策的范式演进。