遇见数据集

AerialMetric

收藏
github2026-07-07 更新2026-07-09 收录
官方服务:

资源简介:

AerialMetric是一个真实世界的无人机单目度量深度基准测试数据集,涵盖倾斜摄影测量、受控航空变量、野外无人机视频,并提供了适配的MoGe-2基线。

AerialMetric is a real-world monocular metric depth benchmark dataset for unmanned aerial vehicles (UAVs), covering oblique photogrammetry, controlled aerial variables, and field UAV videos, with a tailored MoGe-2 baseline provided.

创建时间:
2026-07-04
原始信息汇总

数据集概述

AerialMetric 是一个面向真实世界无人机(UAV)单目度量深度估计的基准数据集与适配方法,发表于 ECCV 2026。该数据集聚焦于无人机在现实场景中的深度估计任务,涵盖倾斜摄影测量、受控空中变量、野外无人机视频等多种场景,并提供了基于 MoGe-2 的适配基线模型。


数据集构成

  • 场景类型

    • 倾斜摄影测量(Oblique Photogrammetry)
    • 受控空中变量(Controlled Aerial Variables)
    • 野外无人机视频(In-the-Wild UAV Videos)
  • 数据来源(致谢部分提及):

    • GauU-Scene:大规模无人机航拍场景数据集
    • UrbanBIS(SIGGRAPH 2023):精细城市建筑实例分割基准
    • UrbanScene3D(ECCV 2022):大规模城市场景数据集,含高分辨率航拍图像
    • UAVScenes(ICCV 2025):多模态无人机数据集,含逐帧语义标注
    • OpenDroneMap:开源工具包,用于生成地图、点云、3D 模型等
    • ArcGIS Drone2Map(ESRI):从无人机影像创建 3D 产品

基准测试入口

数据集仓库包含三个基准测试接口:

目录 用途
MoGe/ 面向 MoGe2 和 AerialMetric 的空中场景基准
Ground_MoGe/ 面向 MoGe2 和 AerialMetric 的地面场景基准
Depth_Baselines/ 面向 UniDepth、DepthPro 和 ZoeDepth 的地面基准封装

实验与复现

  • 实验类型
    • 空中场景(Aerial Scenes):含解耦 + 倾斜 + 野外数据集
    • 地面场景(Ground Scenes):含 NYUv2、KITTI 等 7 个数据集
  • 模型:基线模型(Baseline)与 MoGe2-Aerial LoRA 模型
  • 运行方式:支持多 GPU(推荐 4 卡)或单 GPU 运行
  • 输出:每数据集评估报告(.txt / .json 格式)

模型权重

模型 链接
MoGe2(基线) Ruicheng/moge-2-vitl-normal
MoGe2-Aerial(LoRA 类型) Kuiee/AerialMetric-ECCV2026

快速推理示例

支持单张图片与视频推理,输出每帧的原始深度数组(.npy)、伪彩色可视化(.png)及深度色标条(.png)。可配置长边缩放、帧采样步长、设备(CPU/GPU)等参数。


引用

bibtex @inproceedings{song2026aerialmetric, title = {AerialMetric: Benchmarking and Adapting UAV Monocular Metric Depth Estimation in the Real World}, author = {Zhongqiang Song and Guanying Chen and Yuqi Zhang and Yin Zou and Chuanyu Fu and Zhiyuan Yuan and Chuan Huang and Shuguang Cui and Xiaochun Cao}, booktitle = {European Conference on Computer Vision (ECCV)}, year = {2026} }


许可协议

该项目采用 Creative Commons Attribution-ShareAlike 4.0 International License 许可。

搜集汇总
数据集介绍
构建方式
AerialMetric数据集的构建旨在解决真实世界中无人机单目度量深度估计的基准缺失问题。数据集整合了多种真实无人机影像来源,包括倾斜摄影测量场景、受控空中变量数据以及野外的无人机视频。通过从GauU-Scene、UrbanBIS、UrbanScene3D、UAVScenes等公开数据集中精选高质量原始图像,并借助OpenDroneMap和ArcGIS Drone2Map等工具生成精确的深度真值,构建了一个覆盖多样化空中视角的综合性基准。数据组织严格遵循DATA_ORGANIZATION.md中的规范,确保不同来源的数据能够统一用于模型评估与微调。
特点
AerialMetric数据集具备三大显著特点。首先,它聚焦于真实世界的无人机视觉场景,涵盖了倾斜摄影、受控环境与野外动态视频等多种复杂条件,填补了现有数据集在真实无人机深度估计方面的空白。其次,数据集不仅提供度量深度标注,还配套了基于MoGe-2架构的改进基线模型(MoGe2-Aerial LoRA),实现了对空中尺度感知能力的针对性增强。此外,数据集支持多粒度评估,包括空中场景的消融实验与地面场景的跨域迁移测试,确保了评价的全面性与公平性。
使用方法
使用AerialMetric数据集时,用户需先参照DATA_ORGANIZATION.md配置本地数据路径。环境搭建基于Python 3.10和PyTorch,通过conda创建虚拟环境并安装依赖,随后将MoGe模块以可编辑模式安装。基准实验通过执行benchmark.sh脚本启动,支持多GPU并行加速,自动运行四组实验,分别评估空中与地面场景下基线模型与LoRA微调模型的性能。用户也可通过demo_infer.py快速对单张图片或视频进行推理,输出度量深度图与可视化结果。模型权重与完整数据集均在HuggingFace平台上开放获取。
背景与挑战
背景概述
随着无人机载视觉系统在自主导航、三维重建与灾害监测等领域的广泛应用,从单目视觉中恢复精确的度量深度已成为核心研究议题。现有深度估计基准多聚焦于室内或地面驾驶场景,缺乏针对真实无人机飞行特性的系统性评估。为解决这一空白,中山大学陈冠英研究团队联合香港中文大学(深圳)、中国科学技术大学等机构,于2026年发布了AerialMetric基准数据集。该数据集首次构建了包含倾斜摄影测量、受控变量飞行与真实野外无人机视频的多模态场景集合,覆盖了无人机独有的视角变化、光照波动与运动模糊等复杂因素,为单目度量深度估计在航空视觉领域的泛化性研究提供了关键验证平台。自发布以来,该数据集已被视为连接模拟环境与真实无人机应用的标志性基准,有力推动了该领域从定性深度感知向定量度量评估的范式转变。
当前挑战
AerialMetric数据集主要面临双重挑战。一方面,在领域问题层面,无人机空中视角带来了地面驾驶数据集未曾遭遇的核心难题:绝对尺度模糊与动态场景深度突变。飞行高度、姿态角与传感器内参的剧烈变化导致深度分布范围远大于常规场景,现有模型在无内参先验时难以保持度量一致性。此外,城市峡谷、植被纹理缺失区域及水面反射等复杂场景,对深度边缘的锐利度与空洞区域的补全能力提出了严苛要求。另一方面,在构建过程中,数据集需解决多源数据配准的精确性问题:倾斜摄影测量点云与同步传感器深度之间,始终存在由运动畸变与稀疏重建误差引起的系统偏差;而野外无人机视频的真实深度标签获取,则依赖于多视几何与LiDAR融合的混合标注策略,这一过程在光照剧变与高动态运动下极易引入噪声,亟需鲁棒的去噪后处理流程来保证基准的可靠性。
常用场景
经典使用场景
AerialMetric数据集专为无人机单目度量深度估计任务而设计,其核心应用场景涵盖倾斜摄影测量、受控航拍变量实验以及野外无人机视频的深度估计。该数据集通过提供包含真实尺度信息的航空图像,为研究者构建和评估在复杂空中环境下工作的度量深度模型提供了标准化基准。经典的用法是将预训练的通用深度估计模型(如MoGe-2)在AerialMetric的多样化场景上进行微调或零样本测试,以验证模型从地面场景迁移至空中视角时的泛化能力与鲁棒性。
实际应用
在实际应用中,AerialMetric支撑着无人机自主导航、三维重建与巡检监测等关键任务。例如,在低空物流配送中,无人机需实时获取周围环境的精确深度信息以规避障碍;在电力线路或基础设施巡检中,度量深度数据可辅助生成高精度的三维点云地图。该数据集训练的模型能直接输出以米为单位的深度值,无需依赖昂贵的激光雷达,大幅降低了无人机空间感知系统的成本与部署复杂度,尤其适用于城市密集区域或复杂地形的实时作业场景。
衍生相关工作
AerialMetric的发布催生了一系列后续研究工作,其中最核心的衍生工作是MoGe-2-Aerial LoRA模型——通过轻量级低秩自适应微调,将通用的MoGe-2基础模型高效适配至航空度量深度任务。此外,该数据集被集成至统一的评测框架中,支持与UniDepth、DepthPro、ZoeDepth等主流单目深度估计方法的横向比较。后续工作可沿两条路径展开:一是利用AerialMetric的多模态监督信号训练更高精度的专用网络;二是探索跨域自适应技术,使地面训练的模型在航空场景中无需重新标注即可实现零样本迁移。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务