AntiUAV600

AntiUAV600是由江南大学等机构联合创建的大型无人机数据集，包含600个视频序列，总计超过723,000帧的热红外图像，每帧均密集标注了边界框。该数据集主要用于无人机感知和防御研究，特别是在复杂场景中无先验无人机信息的情况下。数据集涵盖多种挑战性场景，如无人机随机出现、快速移动和小规模等，旨在提高无人机感知性能，解决实际应用中的复杂问题。AntiUAV600 is a large-scale UAV dataset jointly created by Jiangnan University and other institutions. It contains 600 video sequences, totaling more than 723,000 thermal infrared image frames, each with densely annotated bounding boxes. This dataset is primarily utilized for UAV perception and defense research, particularly in complex scenarios where no prior information about UAVs is available. It covers various challenging scenarios such as randomly appearing UAVs, fast-moving targets and small-scale UAVs, aiming to improve UAV perception performance and address complex issues in practical applications.

搜集汇总

数据集介绍

构建方式

AntiUAV600数据集是通过使用热红外相机以每秒25帧的帧率在复杂户外场景中捕获视频序列构建的。这些序列包含随机、快速且小规模的无人机，每个序列的帧都密集标注了边界框。数据集包含300个训练序列、50个验证序列和250个测试序列，共计超过723K帧。数据集的构建旨在模拟真实世界中的无人机感知挑战，例如随机出现的无人机、快速移动、热交叉和微小的无人机规模。

使用方法

使用AntiUAV600数据集的方法包括训练和评估无人机感知系统。首先，可以使用数据集中的训练序列来训练检测和跟踪算法。其次，可以使用验证序列来调整算法的超参数，并通过测试序列来评估算法的性能。数据集的评估指标Acc结合了平均交并比分数和惩罚项，以评估无人机感知系统的定位能力和预测无人机不存在的能力。此外，数据集还提供了一个新的评估指标，该指标考虑了定位精度和预测无人机不存在的能力。

背景与挑战

背景概述

无人机的广泛应用，如运输、监控和军事领域，因其高自主性和低成本的特点而备受青睐。然而，无人机对公共安全和隐私的潜在威胁也日益凸显，限制了其更广泛的应用。因此，无人机感知与防御（反无人机）对于可靠的开放式无人机应用尤为重要，并引起了计算机视觉领域的研究兴趣。现有的研究往往将反无人机任务简化为一个跟踪问题，其中无人机的前置信息始终被提供；然而，这种方案在现实世界的反无人机任务中（即复杂场景、不确定出现和重新出现的无人机以及实时无人机监控）却失败了。为了支持实际的开放式反无人机感知，我们首次提出一个新的反无人机任务，该任务在复杂场景中感知无人机，而没有任何前置无人机信息。这项任务需要在不依赖第一帧无人机模板的情况下，实时连续检测和跟踪无人机目标。然而，现有的反无人机数据集[15]、[36]无法支持这项实用任务，原因有三。首先，它们要求无人机目标出现在视频的第一帧，作为无人机跟踪的输入模板，这无法反映现实世界场景中的挑战，其中无人机可以随时出现在任何位置。其次，这些数据集中的无人机[5]、[36]占据了图像的大部分区域，使得在无人机占用很少像素时，现实世界的无人机监控变得不可行，如图1(b)所示。第三，现有数据集的质量和规模有限，无法评估现实世界的反无人机系统。为了解决这些局限性并评估我们提出的反无人机任务，我们提出了一个新的反无人机数据集，名为AntiUAV600，以及一个新的评估指标。据我们所知，AntiUAV600是目前计算机视觉领域最大的无人机数据集。它包含600个具有超过723K个密集标注框的热红外视频序列。这些序列是在具有新的无人机挑战的复杂户外场景中捕获的，如随机出现的无人机、快速运动、热交叉和微小的无人机规模。如图1(c)所示，AntiUAV600包含许多现实世界的实际场景，其中无人机目标在视频的开始处不会出现，现有的跟踪方法无法有效地处理这些场景。因此，我们开发了一个新的评估指标，结合平均交并比（IoU）得分和惩罚项，以评估反无人机系统定位无人机目标并预测其在视频中的缺失的能力。

当前挑战

AntiUAV600数据集提出了一项新的实际反无人机任务，该任务在复杂场景中感知无人机，而没有任何前置无人机信息。这项任务需要在不依赖第一帧无人机模板的情况下，实时连续检测和跟踪无人机目标。现有的反无人机数据集[15]、[36]无法支持这项实用任务，原因有三。首先，它们要求无人机目标出现在视频的第一帧，作为无人机跟踪的输入模板，这无法反映现实世界场景中的挑战，其中无人机可以随时出现在任何位置。其次，这些数据集中的无人机[5]、[36]占据了图像的大部分区域，使得在无人机占用很少像素时，现实世界的无人机监控变得不可行，如图1(b)所示。第三，现有数据集的质量和规模有限，无法评估现实世界的反无人机系统。为了解决这些局限性并评估我们提出的反无人机任务，我们提出了一个新的反无人机数据集，名为AntiUAV600，以及一个新的评估指标。据我们所知，AntiUAV600是目前计算机视觉领域最大的无人机数据集。它包含600个具有超过723K个密集标注框的热红外视频序列。这些序列是在具有新的无人机挑战的复杂户外场景中捕获的，如随机出现的无人机、快速运动、热交叉和微小的无人机规模。如图1(c)所示，AntiUAV600包含许多现实世界的实际场景，其中无人机目标在视频的开始处不会出现，现有的跟踪方法无法有效地处理这些场景。因此，我们开发了一个新的评估指标，结合平均交并比（IoU）得分和惩罚项，以评估反无人机系统定位无人机目标并预测其在视频中的缺失的能力。

常用场景

经典使用场景

AntiUAV600数据集广泛应用于无人机感知与防御（anti-UAV）领域，特别是在复杂场景下对无人机的实时检测与跟踪。该数据集包含了大量具有随机性、快速移动和小规模的无人机视频序列，为研究人员提供了丰富的实验数据。通过使用AntiUAV600数据集，研究人员可以开发出更加鲁棒的无人机检测与跟踪算法，以应对现实世界中无人机的潜在威胁。

解决学术问题

AntiUAV600数据集解决了现有无人机数据集在模拟真实场景方面的不足。现有数据集往往需要无人机目标在视频的第一帧中出现，以便作为跟踪的输入模板，而实际场景中无人机可能在任意时间、任意位置出现。此外，现有数据集中的无人机目标通常占据图像的较大区域，而在实际场景中，无人机可能仅占据极少的像素。AntiUAV600数据集则包含了更多具有挑战性的场景，如无人机目标的随机出现、快速运动、热交叉和微小规模等，为研究人员提供了更加贴近实际的研究平台。

实际应用

AntiUAV600数据集在实际应用场景中具有重要的意义。它可以用于开发更加智能的无人机防御系统，以保护公共安全和个人隐私。例如，在机场、监狱、政府机构等重要场所，通过使用基于AntiUAV600数据集的无人机检测与跟踪算法，可以及时发现并阻止非法入侵的无人机，从而保障这些场所的安全。此外，该数据集还可以用于无人机监控、无人机交通管理等应用领域，为无人机的广泛应用提供技术支持。

数据集最近研究

最新研究方向

AntiUAV600数据集的提出，标志着无人机感知和防御领域研究的新进展。该数据集聚焦于复杂场景下无先验信息无人机目标的实时感知问题，旨在推动开放世界无人机应用的可靠性和实用性。AntiUAV600数据集包含了600个视频序列，超过723K帧高密度的热红外标注框，为研究人员提供了大量真实世界场景下的无人机目标数据。该数据集的特点在于：1）复杂的背景环境；2）无人机目标的尺寸较小且变化范围大；3）无人机目标在视频中的随机出现和消失。这些特点使得AntiUAV600数据集在无人机感知和防御领域具有很高的研究价值。基于AntiUAV600数据集，研究人员提出了一种新的评估指标——准确率（Acc），该指标结合了预测框与真实框之间的交并比（IoU）和预测失败惩罚项，更全面地评估了反无人机系统的性能。为了解决无人机目标在现实世界中随机出现和消失的问题，研究人员提出了一种基于证据合作的全局无人机检测和局部无人机跟踪的框架。该框架通过全局检测分支检测无人机目标，并切换到跟踪分支进行连续定位。一旦无人机目标被定位，框架会预测跟踪结果的置信度，并根据置信度自适应地在检测分支和跟踪分支之间进行切换。实验结果表明，该方法在AntiUAV600数据集上取得了SOTA性能，并成为未来研究的强基线。

相关研究论文

• Evidential Detection and Tracking Collaboration: New Problem, Benchmark and Algorithm for Robust Anti-UAV System

  江南大学 · 2023年