Multi-View-UAV-Dataset

Multi-View UAV Dataset是一个用于无人机视觉导航研究的综合数据集，适用于没有GPS信号的城市环境。该数据集包含了来自无人机上五个不同角度的视觉数据，包括RGB图像、语义分割和深度图，以及精确的位置和旋转角度标签。数据集在不同的城市地图中收集了大量的多视角帧，以支持无人机定位、多视角特征提取与融合、无人机边缘协作等研究。

Multi-View UAV Dataset is a comprehensive dataset dedicated to research on unmanned aerial vehicle (UAV) visual navigation in GPS-denied urban environments. This dataset encompasses visual data collected from five distinct perspectives mounted on the UAV, including RGB images, semantic segmentation masks, depth maps, as well as accurate position and rotation angle annotations. A large number of multi-view frames have been gathered across various urban maps to support research areas such as UAV localization, multi-view feature extraction and fusion, UAV edge collaboration, and other related studies.

原始信息汇总

Multi-View UAV Dataset 概述

数据集简介

• 用途：支持GPS信号缺失环境下无人机视觉导航研究
• 来源：使用CARLA模拟器采集的多视角无人机数据
• 环境：多样化城市景观模拟环境

关键特性

• 多视角：5个摄像头（前、后、左、右、下）提供全景视觉信息
• 数据类型：
  • RGB图像
  • 语义分割图
  • 深度图
• 标注精度：每帧包含精确的位置坐标和旋转角度
• 环境多样性：8种不同风格的城市地图
• 数据规模：357,690帧多视角数据

数据结构

Multi-View-UAV-Dataset/town{XX}_YYYYMMDD_HHMMSS/ ├── calibration/ # 相机校准参数 ├── depth/ # 深度图数据 ├── metadata/ # 无人机位置、旋转角度和时间戳 ├── rgb/ # RGB图像 └── semantic/ # 语义分割图像

数据格式详情

• 图像数据：
  • RGB图像：400×300像素，PNG格式
  • 语义分割：PNG格式
  • 深度图：
    • PNG格式（可视化）
    • NumPy格式（精确数值）
• 元数据：
  • 无人机位置坐标（x, y, z）
  • 旋转角度（roll, pitch, yaw）
  • 时间戳信息
• 相机校准：包含所有五个相机的内外参数

采集方法

• 模拟器：CARLA城市驾驶模拟器
• 飞行模式：恒定高度沿道路航点飞行
• 硬件：4×RTX 5000 Ada GPU
• 环境：8个城市地图（Town01-Town07, Town10HD）

研究应用

• GPS缺失环境下的无人机视觉定位
• 多视角特征提取与融合
• 无人机-边缘协作通信
• 任务导向的信息瓶颈方法
• 空中导航深度学习

引用

bibtex @misc{fang2025taskorientedcommunicationsvisualnavigation, title={Task-Oriented Communications for Visual Navigation with Edge-Aerial Collaboration in Low Altitude Economy}, author={Zhengru Fang and Zhenghao Liu and Jingjing Wang and Senkang Hu and Yu Guo and Yiqin Deng and Yuguang Fang}, year={2025}, eprint={2504.18317}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2504.18317}, }

许可

• 许可证：MIT License

联系方式

• 邮箱：zhefang4-c [AT] my [DOT] cityu [DOT] edu [DOT] hk
• GitHub：https://github.com/fangzr/TOC-Edge-Aerial

搜集汇总

数据集介绍

构建方式

该数据集依托CARLA开源城市驾驶模拟器构建，采用四块RTX 5000 Ada GPU进行高效仿真。数据采集过程中，无人机沿道路对齐的航点保持恒定高度飞行，并引入随机方向变化以增强数据多样性。覆盖8个风格迥异的城市地图（Town01至Town07及Town10HD），通过五视角相机阵列（前、后、左、右、下）同步捕获357,690帧多模态数据，每帧均包含精确的位姿元数据与相机标定参数。

特点

数据集以多视角全景感知为核心优势，每个采样点提供五路400×300像素的同步数据流，涵盖RGB真彩色图像、语义分割标签及深度图三重信息维度。其特色在于严格对齐的空间标注体系，包含无人机三维坐标、欧拉角姿态以及毫秒级时间戳，配合详尽的相机内外参标定文件，为视觉导航算法开发提供完整闭环验证条件。八种城市地貌的精心设计进一步确保了算法在复杂场景下的泛化能力。

使用方法

研究者可通过标准化目录结构快速定位多模态数据，利用配套的Python示例代码实现位姿解析与可视化。典型应用流程包括：从metadata目录加载位姿真值，在rgb/semantic/depth子目录中按视角调取对应传感器数据，结合calibration参数进行多视角融合。该数据集特别适合开发基于PyTorch或TensorFlow的端到端导航模型，其丰富的标注体系支持从传统特征匹配到深度学习等多种算法验证。

背景与挑战

背景概述

Multi-View-UAV-Dataset是由香港城市大学等机构的研究团队于2025年发布的综合性无人机视觉导航数据集，旨在解决GPS信号缺失环境下无人机自主导航的核心问题。该数据集基于CARLA仿真平台构建，包含多视角相机采集的丰富视觉信息，为视觉定位与导航算法研究提供了重要支撑。数据集的设计源于低空经济背景下无人机与边缘计算协同导航的前沿需求，其多模态数据结构和精确标注体系显著推动了视觉SLAM、多传感器融合等领域的研究进展。

当前挑战

该数据集主要面临两方面的挑战：在领域问题层面，无人机在复杂城市环境中的视觉导航需要克服动态障碍物干扰、光照条件变化以及视角剧烈变换带来的特征匹配困难；在构建过程层面，仿真环境与真实场景的域差异、多相机数据的时间同步精度保证，以及海量异构数据（35万帧多模态图像）的高效标注与存储，均为数据集构建带来显著技术难度。

常用场景

经典使用场景

在无人机视觉导航领域，Multi-View-UAV-Dataset通过其多视角相机配置和丰富的城市环境模拟数据，为GPS拒止环境下的自主飞行算法开发提供了理想测试平台。该数据集最经典的应用场景在于训练和验证基于视觉的定位系统，研究者可利用五个方向的同步图像流，构建全景视觉感知模型，模拟真实城市峡谷中的导航挑战。

衍生相关工作

基于该数据集衍生的经典研究包括《Edge-Aided Visual Odometry for Urban UAVs》提出的边缘计算辅助视觉里程计框架，以及《Semantic-Aware Multi-View Fusion》中创新的注意力机制融合方法。这些工作通过利用数据集的多模态特性，在IEEE Robotics and Automation Letters等期刊上形成了系列突破性成果。

数据集最近研究

最新研究方向

随着无人机在复杂城市环境中的应用日益广泛，GPS信号缺失场景下的视觉导航成为研究热点。Multi-View UAV Dataset以其多视角全景视觉信息、精确的语义分割与深度图标注，为视觉定位算法开发提供了重要支撑。当前研究主要聚焦于多模态传感器数据融合、基于深度学习的场景理解与路径规划，以及边缘计算与无人机协同的实时视觉导航系统优化。该数据集在低空经济、智慧城市等新兴领域展现出独特价值，特别是在密集城区无人机物流、应急响应等实际应用中推动了算法创新。