VTUAV

VTUAV是一个大规模的可见光-热红外无人机跟踪数据集，由大连理工大学信息与通信工程学院创建。该数据集包含500个序列，总计1.7百万对高分辨率图像，适用于多种跟踪应用场景。数据集的创建过程涉及使用专业无人机和相机在不同环境和条件下捕捉图像。VTUAV数据集主要用于解决复杂环境下的目标跟踪问题，特别是在夜间、雾天和风速较大的情况下。

VTUAV is a large-scale visible and thermal infrared UAV tracking dataset created by the School of Information and Communication Engineering, Dalian University of Technology. This dataset contains 500 sequences with a total of 1.7 million high-resolution image pairs, suitable for multiple tracking application scenarios. The creation process of the VTUAV dataset involved capturing images using professional drones and cameras under diverse environments and conditions. The VTUAV dataset is primarily used to address target tracking problems in complex environments, particularly at night, in foggy conditions and under high wind speeds.

搜集汇总

数据集介绍

构建方式

在多模态传感器日益普及的背景下，可见光-热红外（RGB-T）目标跟踪技术凭借其对温度信息的引导，展现出更强的鲁棒性和更广泛的应用场景。然而，高质量RGB-T序列的缺乏成为制约该技术发展的主要瓶颈。为此，我们构建了一个大规模、高多样性的可见光-热红外无人机跟踪基准（VTUAV），包含500个序列，共计170万帧高分辨率（1920 × 1080像素）的帧对。该基准不仅涵盖了短期跟踪、长期跟踪和分割掩码预测等多种应用，还提供了从粗到细的属性标注，以挖掘特定挑战跟踪器的潜力。

特点

VTUAV数据集的显著特点在于其大规模、高分辨率和多样性。首先，该数据集是目前最大的多模态跟踪数据集，拥有最高分辨率的图像。其次，数据集考虑了短期、长期跟踪以及分割掩码预测，实现了全面的应用评估。此外，数据集提供了精细的属性标注，包括帧级和序列级属性，满足了训练挑战特定跟踪器的需求。

使用方法

VTUAV数据集可用于评估和训练各种RGB-T跟踪算法。研究者可以利用该数据集进行短期和长期跟踪任务的性能评估，以及分割掩码预测的精度测试。通过提供的属性标注，研究者可以针对特定挑战设计更有效的跟踪器。此外，数据集的高分辨率和多样性场景使其成为开发和验证新算法的理想平台。

背景与挑战

背景概述

随着多模态传感器的普及，可见光-热红外（RGB-T）目标跟踪技术通过利用目标的温度信息，旨在实现更鲁棒的性能和更广泛的应用场景。然而，缺乏配对的训练样本是解锁RGB-T跟踪潜力的主要瓶颈。由于收集高质量的RGB-T序列费时费力，现有的基准仅提供测试序列。为此，Pengyu Zhang等人于2021年构建了一个大规模的可见光-热红外无人机跟踪（VTUAV）基准，包含500个序列和170万对高分辨率（1920*1080像素）帧。该数据集不仅涵盖了短期和长期跟踪，还包括分割掩码预测，以进行全面的评估。此外，研究团队提供了从粗到细的属性标注，以挖掘特定挑战跟踪器的潜力。VTUAV数据集的创建填补了RGB-T跟踪领域的空白，为推动该领域的发展提供了宝贵的资源。

当前挑战

VTUAV数据集在构建过程中面临多重挑战。首先，收集高质量的RGB-T序列需要大量的时间和资源，尤其是在无人机平台上。其次，数据集的多样性要求涵盖多种场景和目标类别，这增加了数据标注的复杂性。此外，属性标注的精细程度也是一个挑战，需要确保每一帧的属性标注准确无误。在应用层面，RGB-T跟踪技术需要解决光照变化、目标遮挡、尺度变化等问题，这些都是在实际应用中常见的挑战。最后，如何有效地融合可见光和热红外信息，以提高跟踪的鲁棒性和准确性，是该领域面临的核心问题。

常用场景

经典使用场景

VTUAV数据集在可见光-热红外（RGB-T）无人机跟踪领域中具有经典应用场景。该数据集通过提供500个序列，包含170万对高分辨率（1920 * 1080像素）的帧对，支持短时跟踪、长时跟踪和分割掩码预测等多种应用。其高多样性和精细的属性标注使得VTUAV成为评估和开发RGB-T跟踪算法的理想基准。

解决学术问题

VTUAV数据集解决了RGB-T跟踪领域中训练样本不足的关键问题。通过提供大规模、高质量的配对训练数据，VTUAV显著提升了RGB-T跟踪算法的鲁棒性和准确性。此外，数据集的精细属性标注为挑战特定跟踪器的开发提供了有力支持，推动了该领域的学术研究进展。

衍生相关工作

基于VTUAV数据集，研究者们开发了多种先进的RGB-T跟踪算法，如层次多模态融合跟踪器（HMFT），该算法结合了图像融合、特征融合和决策融合策略，显著提升了跟踪性能。此外，VTUAV还激发了其他相关研究，如多模态数据融合、属性感知跟踪和长时跟踪等，推动了整个RGB-T跟踪领域的发展。