UAV-UGV视觉导航数据集

该数据集由北卡罗来纳州立大学农业技术州立大学团队创建，专注于无人机（UAV）与地面无人车（UGV）协同导航的视觉研究。数据集包含13,000张在实验室受控环境下采集的标注图像，通过VICON运动捕捉系统同步生成高精度位姿真值，涵盖多样化的UGV运动轨迹。数据内容包含单目相机拍摄的UGV图像及其对应的边界框特征（中心坐标、面积、长宽比）和空间朝向角度标签，旨在解决GPS拒止环境中无人机自主导航的航向预测问题。其轻量化标注设计支持实时嵌入式部署，适用于多智能体协同、动态避障等应用场景。

This dataset was developed by a research team from North Carolina Agricultural and Technical State University, focusing on vision-based research for coordinated navigation of unmanned aerial vehicles (UAVs) and unmanned ground vehicles (UGVs). It contains 13,000 annotated images collected in a laboratory-controlled environment, with synchronized high-precision ground-truth poses generated via the VICON motion capture system, covering diverse UGV motion trajectories. The dataset includes monocular camera-captured UGV images paired with corresponding bounding box features (center coordinates, area, and aspect ratio) and spatial orientation angle labels, aiming to solve heading prediction problems for UAV autonomous navigation in GPS-denied environments. Featuring a lightweight annotation design, it supports real-time embedded deployment and is applicable to scenarios such as multi-agent collaboration and dynamic obstacle avoidance.

原始信息汇总

UAV-UGV-Integration 数据集概述

数据集来源与背景

• 该数据集支持北卡罗来纳州A&T州立大学Reza Ahmari的硕士学位论文。
• 论文标题为《A Data-Driven Approach to Evaluate UAV/UGV integration in UAV deployment scenarios》。

数据集目的与研究主题

• 研究城市空中交通系统在自主操作中因依赖深度学习而面临的对抗性威胁。
• 具体研究特洛伊木马攻击对自主着陆系统的影响。
• 提出一种数据驱动的无人机-无人地面车辆集成框架，以改进着陆协调和鲁棒性。

数据集主要内容

数据集为定制开发，专为无人机任务设计，包含：

• 真实世界条件下的无人地面车辆检测数据。
• 视觉航向角预测数据。
• 包含与不包含对抗性触发器的着陆行为评估数据。

数据集关联的研究贡献

1. 定制数据集开发：创建了针对无人机任务的专用数据集。
2. 基于视觉的航向角估计：设计了一个轻量级人工神经网络，仅使用视觉输入预测无人机相对于无人地面车辆的航向。
3. 鲁棒的基于YOLOv5的无人地面车辆检测：针对遮挡和光照变化条件微调YOLOv5，为协调和着陆提供精确的感知输入。
4. 特洛伊木马攻击评估框架：提出了一种在基于CNN的无人机着陆系统中注入和评估特洛伊木马攻击的方法。
5. 跨平台系统集成：将Windows（用于VICON）和Linux（用于ROS）环境集成到统一架构中，无需虚拟机，实现同步高效的无人机-无人地面车辆控制。
6. 用于实时标注的定制VICON API：开发了一个API来流式传输VICON数据，支持实时无人机/无人地面车辆位置跟踪、自动数据集生成以及用于训练和评估的实时地面真值获取。

相关学术成果

• Evaluating trojan attack vulnerabilities in autonomous landing systems for urban air mobility (Ahmari等人， 2025年， 发表于《Proceedings of the Automation, Robotics & Communications for Industry》)
• A data-driven approach for uav-ugv integration (Ahmari等人， 2025年， 发表于《Proceedings of the Automation, Robotics & Communications for Industry》)
• An Experimental Study of Trojan Vulnerabilities in UAV Autonomous Landing (Ahmari等人， 2025年， 已被IEEE系统、人与控制论国际会议接受)

搜集汇总

数据集介绍

构建方式

在无人机与无人地面车辆协同导航的研究背景下，UAV-UGV视觉导航数据集的构建依托于高精度的VICON运动捕捉系统。该数据集在受控的实验室环境中采集，通过同步无人机前向摄像头的视频流与VICON提供的六自由度位姿数据，生成了超过13,000张标注图像。每帧图像均经过手动标注，在UGV周围绘制边界框，并利用VICON记录的精确空间坐标计算得出真实航向角作为地面真值。数据预处理阶段将图像转换为灰度图并统一缩放至640×640分辨率，同时应用了翻转、旋转及亮度调整等数据增强技术，以提升模型在动态场景下的泛化能力。

特点

该数据集的核心特点在于其高保真度的标注质量与严格的时间同步性。所有视觉帧均与VICON系统捕获的毫米级精度空间坐标实时对齐，确保了航向角标签的可靠性。数据集专注于单一类别的UGV检测，边界框标注为后续的特征提取提供了直接输入。其样本涵盖了多样化的UGV运动轨迹，在相对静止的无人机视角下，有效捕捉了地面车辆位置与尺度变化，为学习视觉特征与空间方位间的映射关系奠定了坚实基础。这种在受控环境下生成的高质量数据，为开发不依赖外部基础设施的视觉导航模型提供了关键的训练与验证资源。

使用方法

该数据集主要用于训练和评估视觉驱动的无人机-无人车协同导航模型。典型的使用流程始于利用数据集中已标注的边界框训练YOLOv5目标检测器，实现UGV的实时识别。随后，从检测到的边界框中提取归一化的中心坐标、面积和宽高比等特征，这些特征与数据集中提供的VICON航向角真值共同用于训练一个轻量级的人工神经网络回归模型。该ANN模型学习从视觉特征到航向角的映射，从而使得系统在部署时仅需单目摄像头输入即可预测航向。研究人员可将数据集按比例划分为训练集、验证集和测试集，以系统评估模型在UGV检测精度和航向角预测误差方面的性能。

背景与挑战

背景概述

随着无人机与无人地面车辆在搜索救援、环境监测及物流等领域的协同应用日益广泛，构建不依赖外部定位基础设施的自主导航系统成为多智能体协同研究的关键前沿。UAV-UGV视觉导航数据集由北卡罗来纳农工州立大学的研究团队于2025年创建，旨在通过纯视觉感知解决GPS拒止环境下无人机与地面车辆的高精度航向对齐问题。该数据集包含超过13,000张在受控实验室内采集的标注图像，并利用VICON运动捕捉系统生成高精度地面真值，为视觉导航模型的训练与验证提供了可靠基准。其核心研究聚焦于从单目相机输入中实时预测无人机所需航向角，推动了轻量化、传感器独立的协同导航框架发展，对提升复杂动态环境中多智能体系统的自主性与适应性具有显著影响力。

当前挑战

该数据集致力于解决GPS拒止环境下无人机与地面车辆视觉协同导航的挑战，其核心问题在于仅凭单目视觉实现高精度、低延迟的航向角预测与目标检测。构建过程中的主要挑战体现在数据采集与标注环节：首先，在缺乏外部定位信号的场景下，需依赖昂贵的VICON系统生成高精度地面真值，导致数据采集成本高昂且环境受限；其次，数据标注需完全手动完成，因为YOLOv5等通用检测器未预设UGV类别，标注的一致性与质量直接影响模型性能。此外，数据集目前仅在受控室内环境生成，其泛化能力面临室外光照变化、局部遮挡及动态背景等复杂条件的严峻考验。

常用场景

实际应用

在实际部署中，该数据集所支撑的技术框架展现出广泛的应用潜力。其主要应用于搜索与救援、环境监测、自主物流等任务，其中无人机需在室内、地下或城市峡谷等GPS信号退化或拒止的环境中，与地面车辆保持稳定协同。例如，无人机可凭借纯视觉系统实时检测地面车辆并预测对准航向，进而实现伴随飞行、精准着陆或协同区域覆盖。这种基础设施独立的解决方案，显著提升了多智能体系统在复杂、非结构化场景下的操作可靠性与部署灵活性。

衍生相关工作

围绕该数据集衍生的技术路线，催生了一系列专注于视觉协同导航的经典研究工作。其核心框架——结合YOLO系列目标检测器与轻量级回归网络进行航向预测——已成为该领域的一个代表性范式。后续研究在此基础上进行了多方位拓展，例如引入图神经网络进行动态任务分配、探索对抗性攻击下的系统安全性、以及将方法迁移至户外光照变化与遮挡更严重的环境。这些工作共同推动了无人机-无人车协同系统向更鲁棒、更安全、更适应复杂现实条件的方向演进。