Custom Web Drone Video Tracks (CWDVT)

我们利用Fredrik’s Svanstrom等人在2020年收集的数据集，该数据集包含实时日间和夜间视频片段。我们从该数据集中精心挑选了13,801个带注释的训练样本和3,451个带注释的测试样本用于我们的实验目的。此外，我们还生成了459个有效样本，形成了Custom Web Drone Video Tracks (CWDVT)数据集。

We utilized a dataset collected by Fredrik’s Svanstrom et al. in 2020, which includes real-time daytime and nighttime video clips. From this dataset, we meticulously selected 13,801 annotated training samples and 3,451 annotated test samples for our experimental purposes. Additionally, we generated 459 valid samples, forming the Custom Web Drone Video Tracks (CWDVT) dataset.

原始信息汇总

数据集概述

3.6 数据集详情

数据集来源与组成

• Fredrik’s Svanstrom et al. (2020) 数据集：包含实时视频片段，涵盖日间和夜间场景。
• 训练样本：从上述数据集中精选13,801个标注样本。
• 测试样本：同样从上述数据集中精选3,451个标注样本。
• Custom Web Drone Video Tracks (CWDVT) 数据集：通过自定义网络数据生成459个有效样本。

实验设置

• 训练样本：
  • ICPR：13,801个样本
  • LaSOT：40,748个样本
  • CLDT：1,708个样本
• 测试样本：
  • ICPR：3,451个样本
  • DUT：2,208个样本
  • CWDVT：419个样本

3.6.1 Multi-Drone Tracking Dataset

数据集生成过程

• 使用SiamMask Wang et al. (2019)，一种基于掩码的跟踪器，手动标注单个无人机视频的第一帧。
• 从ICPR无人机视频中提取伪标签掩码，并计算视频序列中每个跟踪的中心。
• 通过提出的图像合成方法将无人机合成到LaSOT背景无人机视频中。

数据集挑战

• 无人机大小不一，最小为10x10像素。
• 无人机运动从帧到帧有显著漂移，反映快速无人机运动。
• 背景复杂，包含多种元素。

数据集参数

• 视频数量：20
• 帧数：21,818
• 最小宽度x高度：10x10像素
• 最大宽度x高度：310x252像素
• 背景：夜间、天空、多云

评估与结果

训练与测试数据集

• YOLO V8模型：使用Adam优化器，批量大小为16，训练50个周期。
• 评估结果：
  • ICPR：0.954
  • DUT (未见)：0.107
  • LDT：0.148
  • ICPR plus CLDT：0.964
  • ICPR, CLDT, MDT：0.939

多目标跟踪性能

• MOTA (BT)：0.07
• MOTA (SS)：-1.23
• MOTP (BT)：0.721
• MOTP (SS)：0.709
• LaSOT：0.697
• ICPR and CLDT：0.6601
• ICPR, LaSOT, MDT：0.93

搜集汇总

数据集介绍

构建方式

Custom Web Drone Video Tracks (CWDVT)数据集的构建过程主要依赖于无人机视频的采集与标注。首先，从Fredrik Svanstrom等人（2020）的数据集中选取了13,801个训练样本和3,451个测试样本，并结合自定义网络数据生成了459个有效样本。通过使用先进的单目标跟踪器，无人机视频中的目标在第一帧中被定位，并在后续帧中自动标注。此外，数据集还通过图像合成技术将无人机目标嵌入到LaSOT背景视频中，进一步丰富了数据集的多样性。

特点

CWDVT数据集的特点在于其多样性和复杂性。数据集涵盖了不同天气条件下的无人机视频，尤其是夜视场景，增强了模型在复杂环境中的检测能力。此外，数据集中包含了不同尺寸的无人机目标，从小型（<32x32像素）到大型（>96x96像素），以及罕见的无人机目标，提供了丰富的训练样本。数据集的背景也多样化，包括夜间、天空和多云场景，进一步提升了模型的鲁棒性。

使用方法

CWDVT数据集的使用方法主要包括数据加载、模型训练和性能评估。用户可以通过克隆YOLOv8模型的GitHub仓库，并安装所需的依赖项来加载数据集。训练过程中，用户需创建一个YAML文件，指定训练和验证图像的路径以及类别信息。随后，使用YOLOv8模型进行训练，并通过调整超参数优化模型性能。数据集还可用于评估多目标跟踪算法的性能，如Byte-Track和Strong-SORT，以验证模型在复杂场景中的表现。

背景与挑战

背景概述

Custom Web Drone Video Tracks (CWDVT) 数据集由研究人员于2020年创建，旨在解决无人机视频中的目标检测与跟踪问题。该数据集基于Fredrik Svanstrom等人提供的实时视频片段，涵盖了白天和夜间的多种场景。通过结合ICPR和LaSOT数据集，CWDVT生成了13,801个训练样本和3,451个测试样本，并进一步扩展了459个自定义样本。该数据集的核心研究问题在于如何提升无人机视频中目标检测的鲁棒性，尤其是在复杂环境下的表现。CWDVT的创建为无人机目标检测领域提供了多样化的数据支持，推动了相关算法的进步。

当前挑战

CWDVT数据集在构建和应用过程中面临多重挑战。首先，数据获取的难度较大，尤其是在恶劣天气条件下的样本稀缺，限制了模型的泛化能力。其次，数据集中存在类别不平衡问题，稀有目标的样本数量较少，导致模型难以有效识别这些目标。此外，数据标注过程耗时且复杂，尤其是无人机视频中目标快速移动和背景复杂的情况下，手动标注几乎不可行。为解决这些问题，研究人员采用了基于跟踪器的自动标注方法，并通过合成数据增强样本多样性。然而，如何进一步提升数据集的多样性和标注效率，仍是未来研究的重要方向。

常用场景

经典使用场景

Custom Web Drone Video Tracks (CWDVT) 数据集在无人机视频分析领域具有广泛的应用，尤其是在复杂环境下的目标检测与跟踪任务中。该数据集通过结合多种天气条件和夜间视觉数据，提供了丰富的训练样本，使得模型能够在多样化的场景中表现出色。其经典使用场景包括无人机监控、交通管理以及灾害应急响应等领域，特别是在需要高精度目标检测和实时跟踪的应用中，CWDVT数据集展现了其独特的优势。

解决学术问题

CWDVT数据集有效解决了目标检测领域中的多个学术难题，尤其是在小目标检测和罕见目标识别方面。通过提供多样化的样本和复杂的背景环境，该数据集帮助研究人员克服了传统数据集中常见的类不平衡问题。此外，CWDVT数据集还通过自注释技术解决了数据标注耗时的问题，显著提升了模型在真实场景中的泛化能力，为无人机目标检测算法的研究提供了强有力的支持。

衍生相关工作

CWDVT数据集的推出催生了一系列相关研究工作，尤其是在多目标跟踪和复杂环境下的目标检测领域。基于该数据集，研究人员开发了多种先进的跟踪算法，如Byte-Track和Strong-SORT，这些算法在无人机目标跟踪任务中表现出色。此外，CWDVT数据集还推动了合成数据生成技术的发展，为数据稀缺场景下的模型训练提供了新的解决方案。这些衍生工作不仅丰富了无人机目标检测的研究内容，也为相关领域的进一步发展奠定了坚实基础。