2DroneKey 和 3DronePose

本研究提出了 DroneKey，一个专门针对无人机关键点检测和三维姿态估计的框架。为了解决无人机螺旋桨视觉相似度高和姿态多样性带来的挑战，研究者构建了名为 2DroneKey 和 3DronePose 的新数据集。这些数据集用于训练和评估无人机关键点检测和三维姿态估计方法。 DroneKey 框架结合了二维关键点检测器和三维姿态估计器，能够从图像序列中检测无人机螺旋桨的关键点并估计其三维姿态。实验结果表明，DroneKey 在关键点检测方面取得了 99.68% 的准确率，并能够在 44FPS 的速度下实现实时处理。

This study proposes DroneKey, a framework specialized for unmanned aerial vehicle (UAV) keypoint detection and 3D pose estimation. To address the challenges arising from the high visual similarity of UAV propellers and the wide diversity of UAV poses, researchers constructed two novel datasets named 2DroneKey and 3DronePose. These datasets are utilized for training and evaluating UAV keypoint detection and 3D pose estimation methods. The DroneKey framework integrates a 2D keypoint detector and a 3D pose estimator, enabling it to detect keypoints of UAV propellers and estimate their 3D poses from image sequences. Experimental results demonstrate that DroneKey achieves an accuracy of 99.68% in keypoint detection and supports real-time processing at a speed of 44 FPS.

搜集汇总

数据集介绍

构建方式

在无人机三维姿态估计领域，数据集的构建面临真实世界关键点与姿态标注获取困难的挑战。为此，研究团队采用合成数据生成策略，利用三维建模程序创建了包含Air2S和Mini2无人机模型的2DroneKey数据集，并以360度全景拍摄的真实场景作为背景，模拟多样化的飞行环境。该数据集包含10个序列，总计一万帧高分辨率图像，每帧均精确标注了螺旋桨的二维关键点坐标，为模型训练提供了丰富且可靠的视觉样本。

特点

该数据集的核心特点在于其针对无人机螺旋桨视觉相似性高与姿态多样性大的独特挑战而设计。图像序列覆盖了无人机在三维空间中的广泛旋转变化，同时保持了近乎固定的平移状态，有效模拟了实际飞行中的复杂运动模式。数据标注不仅包含关键点的空间位置，还严格遵循其排列顺序，确保了姿态估计的几何一致性。高达1920×1080的分辨率为关键点检测提供了清晰的视觉细节，显著提升了模型的判别能力与泛化性能。

使用方法

该数据集主要用于训练和评估无人机关键点检测及三维姿态估计算法。研究者可首先利用2DroneKey数据集对二维关键点检测模型进行端到端训练，通过预测螺旋桨坐标来学习空间关系与顺序推理。随后，结合已知的无人机三维结构先验与相机标定参数，应用PnP求解器等几何计算方法将二维关键点映射为六自由度姿态。对于三维姿态验证，可进一步使用3DronePose数据集进行定量分析，通过计算旋转角误差与平移距离误差来全面评估姿态估计的准确性与鲁棒性。

背景与挑战

背景概述

随着无人机在航拍、物流及军事领域的广泛应用，其非法使用问题日益凸显，反无人机系统成为研究热点。2025年，韩国全南大学人工智能融合学院的研究团队发布了2DroneKey与3DronePose数据集，专注于解决无人机三维姿态估计中的关键点检测难题。该数据集通过合成真实场景背景与精确姿态标注，填补了无人机关键点与三维姿态数据空白，为基于单目视觉的无人机定位与行为分析提供了重要基准。

当前挑战

无人机关键点检测面临两大核心挑战：其一，螺旋桨因视觉特征高度相似导致关键点排序困难，传统方法难以区分其空间排列；其二，无人机在空中自由旋转的特性使得关键点位置分布极具多样性，远超人体或车辆等刚性物体的姿态变化范围。构建过程中，团队需克服真实场景数据采集成本高昂的局限，通过三维程序合成数据并融合360度实景背景，确保姿态标注的精确性与数据多样性平衡。

常用场景

经典使用场景

在无人机视觉感知领域，2DroneKey和3DronePose数据集为三维姿态估计任务提供了关键支持。该数据集通过标注无人机螺旋桨的二维关键点及其对应的六自由度姿态，成为评估关键点检测与三维重建算法的基准平台。其经典应用场景包括利用序列图像进行无人机位姿追踪，通过几何计算实现从二维像素坐标到三维空间坐标的精确映射，为后续姿态分析奠定数据基础。

衍生相关工作

基于该数据集衍生的DroneKey框架引领了无人机专用关键点检测的研究方向。其提出的门控聚合机制与姿态自适应马氏距离损失函数，为TokenPose、ViTPose等通用关键点检测模型提供了改进思路。后续研究在此基础上发展了多尺度特征融合策略与轻量化网络架构，推动了无人机姿态估计在嵌入式设备上的部署应用。

数据集最近研究

最新研究方向

在无人机姿态估计领域，2DroneKey与3DronePose数据集的发布推动了针对无人机螺旋桨关键点检测的前沿研究。面对螺旋桨视觉相似性高与姿态多样性带来的挑战，当前研究聚焦于结合门控关键表示与姿态自适应学习的Transformer架构，通过多层级特征融合与马氏距离动态优化，显著提升了关键点检测的精度与鲁棒性。这一进展不仅为反无人机系统提供了实时三维姿态估计能力，更通过合成数据与真实场景的融合，解决了无人机关键点标注数据稀缺的瓶颈，为复杂动态环境下的无人机监控与交互应用奠定了技术基础。

相关研究论文

• 通过

  韩国全南国立大学人工智能融合系 · 2025年