遇见数据集

AerialMetric

收藏
github2026-07-25 更新2026-07-27 收录
官方服务:

资源简介:

AerialMetric是一个真实世界的无人机单目度量深度基准,涵盖倾斜摄影测量、受控航空变量、野外无人机视频,并适配了MoGe-2基线。

AerialMetric is a real-world monocular metric depth benchmark for unmanned aerial vehicles (UAVs), covering oblique photogrammetry, controlled aerial variables, and field UAV videos, and is compatible with the MoGe-2 baseline.

创建时间:
2026-07-04
原始信息汇总

数据集概述

AerialMetric 是一个面向真实世界无人机(UAV)单目度量深度估计的基准数据集,已被 ECCV 2026 接收。

核心内容

  • 覆盖倾斜摄影测量、受控航空变量、野外无人机视频等多种场景。
  • 提供了针对 MoGe-2 模型的适应基线(AerialMetric LoRA 类型)。

数据集组成

数据集的组成包括Decoupled、Oblique、Wild等子集。

资源链接

基准测试

项目提供三个基准测试入口:

  • MoGe/: 针对 MoGe2 和 AerialMetric 的航空基准。
  • Ground_MoGe/: 针对 MoGe2 和 AerialMetric 的地面基准。
  • Depth_Baselines/: 针对 UniDepth、DepthPro、ZoeDepth 的地面基准封装。

环境配置

bash conda create -n mogefresh3 python=3.10 -y conda activate mogefresh3 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu124 pip install -r requirements.txt pip install -e MoGe/

复现实验

编辑 benchmark.sh 中的路径后运行: bash

4 张 GPU 并行(推荐)

bash benchmark.sh 0,1,2,3

单 GPU

bash benchmark.sh 0

实验包含四种配置,覆盖航空场景和地面场景,评估基线模型与 AerialMetric LoRA 模型。

快速推理

支持单张图像、视频、文件夹的推理,提供丰富的参数配置,如模型选择(基线与 LoRA)、分辨率、精度等级、FOV 覆盖、可视化选项等。

致谢

数据集利用了多个公开数据集及工具,包括:

  • 模型与工具: MoGe-2、UniDepthV2、DJI Terra、Unreal Engine 4.27、AirSim、Cesium for Unreal、Google Earth Studio、Google Earth Pro、Gemini、Depth Anything 3。
  • 数据源: GauU-Scene、UrbanBIS、UrbanScene3D、UAVScenes、OpenDroneMap、ArcGIS Drone2Map。

引用

bibtex @inproceedings{song2026aerialmetric, title = {AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World}, author = {Zhongqiang Song and Guanying Chen and Yuqi Zhang and Yin Zou and Chuanyu Fu and Zhiyuan Yuan and Chuan Huang and Shuguang Cui and Xiaochun Cao}, booktitle = {European Conference on Computer Vision (ECCV)}, year = {2026} }

搜集汇总
数据集介绍
AerialMetric 数据集图片
构建方式
AerialMetric数据集的构建立足于真实世界无人机单目度量深度估计这一极具挑战性的任务。研究团队首先整合了来自GauU-Scene、UrbanBIS等多个大规模航拍场景数据集中的原始无人机影像,以此构成了涵盖倾斜摄影测量场景的骨干数据源。在此基础上,借助Unreal Engine与AirSim仿真平台构筑虚拟场景,结合Cesium for Unreal与Google Earth Studio的地理空间数据,生成了包含受控无人机飞行变量的合成子集,以弥补真实场景中难以获取的精确深度标注。同时,研究团队利用Google Earth Pro、Gemini与Depth Anything 3辅助定位与尺度校准,收集了来自真实野外环境的无人机视频片段,形成了AerialMetric-Wild子集。三个子集互为补充,共同构成了一个多维度、高覆盖的真实世界无人机深度估计基准。
特点
AerialMetric数据集具备显著的结构化与跨域特性,能够有效支撑无人机单目度量深度估计的泛化性研究。该数据集独特地融合了倾斜摄影测量场景、受控无人机飞行变量场景以及无约束野外场景三大模块,覆盖了从结构化城市场景到复杂自然环境的广泛视觉模态。区别于传统基于室内或车载场景的数据集,AerialMetric专注于无人机视角下的度量深度,其数据分布包含丰富的透视形变、尺度变化与纹理缺失情况。此外,数据集内嵌了基于MoGe-2模型的LoRA微调基线,在多种基线方法(UniDepth、DepthPro等)上验证了其迁移能力,凸显了用于跨场景联邦评估的独特优势。
使用方法
AerialMetric数据集的官方使用流程设计为模块化与可复现并重。用户首先通过HuggingFace平台获取数据集与预训练权重,并依据DATA_ORGANIZATION.md文档组织文件目录结构。代码仓库提供了三个基准测试入口:MoGe/目录用于航拍场景的MoGe-2模型评估,Ground_MoGe/用于地面场景的度量深度基准测试,Depth_Baselines/则为UniDepth等模型的集成评测提供封装。环境配置通过conda与pip一键部署,支持4卡并行或单卡执行评测脚本benchmark.sh。针对快速验证场景,项目提供demo_infer.py脚本,支持单图、视频及文件夹批量推理,并允许调整分辨率、计算精度、伪彩映射与掩膜设定,适配从研究探索到工业落地的多元需求。
背景与挑战
背景概述
在计算机视觉领域,单目度量深度估计一直是三维感知任务的核心挑战,然而现有研究多聚焦于室内或地面驾驶场景,针对无人机(UAV)低空视角的专用数据集极度匮乏。2026年,由中山大学、香港中文大学(深圳)及中国科学技术大学联合团队提出的AerialMetric数据集应运而生,旨在填补这一关键空白。该数据集由宋忠强、陈冠英等学者主导,涵盖了倾斜摄影测量、受控空中变量以及野外真实无人机视频等多种复杂场景,并提供了基于MoGe-2的适应性基线模型。AerialMetric的发布不仅为无人机自主导航、三维重建及遥感监测提供了权威的基准平台,更在ECCV 2026上获得认可,显著推动了单目深度估计从实验室走向真实开放世界的进程。
当前挑战
AerialMetric所解决的领域挑战体现在无人机场景下单目度量深度估计的诸多独特困境:首先,无人机影像常面临剧烈尺度变化、俯仰角度多样及复杂光照干扰,传统从运动恢复结构(SfM)方法难以直接迁移;其次,现有度量深度模型多依赖固定内参,无法适应航空影像中相机参数动态调整的需求。在数据集构建过程中,团队遭遇了大规模真实场景三维标注的瓶颈,需融合倾斜摄影测量、虚拟仿真(Unreal Engine/AirSim)与高精度 LiDAR 校正,以获取稠密且真实的深度真值。此外,无人机野外视频的多变性导致参考尺度标定极具挑战,团队借助Google Earth Pro与大规模几何先验实现亚米级校准,最终成就了这一推动行业标准的基准资源。
常用场景
经典使用场景
AerialMetric数据集专为无人机单目度量深度估计任务设计,其经典使用场景涵盖倾斜摄影测量场景、受控航空变量环境以及野外复杂无人机视频。研究者可利用该数据集在真实世界条件下评估和微调单目深度估计模型的度量精度,尤其适用于需要精确空间感知的低空无人机视觉任务,如三维重建、障碍物规避与地形测绘。
衍生相关工作
围绕AerialMetric已衍生出一系列经典工作,包括基于LoRA微调的MoGe-2无人机适配基线,该基线通过低秩适配策略有效缓解了领域偏移问题。此外,研究者还在该基准上系统评估了UniDepth、DepthPro等主流模型的跨架构泛化能力,揭示了无人机场景中相机内参校准对深度估计的关键影响。这些工作共同构建了从模型适应性分析到高效推理的完整研究链条,为后续实时部署与多模态融合研究奠定了坚实基础。
数据集最近研究
最新研究方向
围绕无人机单目度量深度估计的真实世界泛化挑战,AerialMetric数据集为领域内研究开辟了全新前沿。其最新研究方向聚焦于将大规模预训练基础模型(如MoGe-2)通过轻量级LoRA适配策略迁移至无人机航拍场景,以解决倾斜摄影测量、受控空域变量及野外动态视频中的度量尺度模糊与域偏移问题。该工作已被ECCV 2026收录,与当前低空经济、自主导航及灾害应急响应等热点事件紧密关联,为无人机在复杂无GPS环境下的精确三维感知提供了关键基准。通过融合合成数据与真实航拍数据,AerialMetric不仅验证了跨架构模型(如UniDepthV2)的泛化潜力,更推动了单目深度估计从室内/地面场景向真实户外航空应用的跨越,显著提升了视觉定位与避障系统的现实可部署性。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务