XS-VID|视频目标检测数据集|基准数据集数据集

一个大规模的极小型视频目标检测基准数据集，用于支持后续研究和使用，包括COCO、COCOVID、YOLO等多种标注格式。

A large-scale benchmark dataset for tiny video object detection, designed to support subsequent research and applications, including various annotation formats such as COCO, COCOVID, and YOLO.

原始信息汇总

数据集概述

数据集名称

XS-VID

数据集下载

• Google Drive:
  • Annotations: 链接
  • Images (0-3): 链接
  • Images (4-5): 链接
• BaiduNetDisk: 链接

数据集格式

• Annotation Formats: COCO, COCOVID, YOLO

数据集组织结构

data_root_dir/ ├── test.txt ├── train.txt ├── images/ │ ├── video1/ │ │ ├── 0000000.png │ │ └── 0000001.png │ ├── video2/ │ │ └── ... │ └── ... └── labels/ ├── video1/ │ ├── 0000000.txt │ └── 0000001.txt ├── video2/ │ └── ... └── ...

结果

• XS-VID: 提供多种方法的性能评估结果，包括$AP$, $AP_{50}$, $AP_{75}$, $AP_{eS}$, $AP_{rS}$, $AP_{gS}$, 和 Inference(ms)。
• Visdrone2019 VID(test-dev): 提供多种方法的性能评估结果，包括$AP$, $AP_{50}$, $AP_{75}$, $AP_{eS}$, $AP_{rS}$, $AP_{gS}$, $AP_{m}$, 和 $AP_{l}$。

检查点

• YOLOFT-L: 参数45.16M, FLOPs 230.14G, 推理时间36ms, 数据集XS-VID, 检查点链接
• YOLOFT-S: 参数53.58M, FLOPs 13.02G, 推理时间16ms, 数据集XS-VID, 检查点链接

AI搜集汇总

数据集介绍

构建方式

XS-VID数据集的构建基于大规模的极小视频目标检测基准，通过从多个视频源中提取图像帧和相应的标注信息，形成了一个包含丰富视觉内容的视频目标检测数据集。该数据集的标注格式包括COCO、COCOVID和YOLO等多种形式，以满足不同研究需求。数据集的图像和标注文件分别存储在Google Drive和BaiduNetDisk上，用户可以通过提供的链接下载并解压使用。

特点

XS-VID数据集的一个显著特点是其极小的目标检测难度，这使得该数据集成为评估和提升视频目标检测算法性能的理想平台。此外，数据集提供了多种标注格式，便于研究人员根据不同的模型需求进行数据处理和分析。数据集的组织结构清晰，图像和标注文件一一对应，确保了数据的一致性和可用性。

使用方法

使用XS-VID数据集时，用户首先需要下载并解压数据集文件，确保所有分割的归档文件位于同一目录下。随后，用户可以根据需要将数据集转换为YOLO格式，并按照指定的目录结构组织数据。数据集支持多种模型训练和测试，用户可以通过提供的脚本进行模型训练、评估和预测。此外，数据集还支持导出为ONNX格式，便于在不同平台上的部署和应用。

背景与挑战

背景概述

XS-VID数据集是由华中科技大学（HUST）的研究团队创建的一个大规模极小视频目标检测基准。该数据集的创建旨在推动视频目标检测领域的发展，特别是针对极小目标的检测。XS-VID数据集包含了丰富的视频帧和相应的标注，支持多种标注格式，如COCO、COCOVID和YOLO，以促进后续研究和应用。该数据集的发布标志着视频目标检测技术在处理极小目标方面的重大进步，为相关领域的研究人员提供了宝贵的资源。

当前挑战

XS-VID数据集在构建过程中面临了多个挑战。首先，极小目标的检测本身就是一个技术难题，因为这些目标在视频帧中占据的像素较少，容易受到背景噪声的干扰。其次，视频数据的处理和标注需要大量的计算资源和时间，尤其是在处理大规模数据集时。此外，为了确保数据集的多样性和代表性，研究人员需要在不同场景和条件下收集和标注数据，这增加了数据集构建的复杂性。最后，为了支持多种标注格式，数据集的转换和维护也是一个重要的挑战。

常用场景

经典使用场景

XS-VID数据集在视频目标检测领域中被广泛应用于开发和评估极小视频目标检测算法。其经典使用场景包括但不限于：通过提供大规模的视频数据和相应的标注信息，研究人员可以训练和验证各种视频目标检测模型，如YOLOFT等，以提升模型在复杂场景下的检测精度和速度。

解决学术问题

XS-VID数据集解决了视频目标检测领域中常见的学术研究问题，如小目标检测的挑战、视频帧间目标一致性问题以及实时检测的效率问题。通过提供高质量的标注数据和多样化的视频场景，XS-VID促进了相关算法的发展，推动了视频目标检测技术的进步。

衍生相关工作

基于XS-VID数据集，许多经典工作得以开展，如YOLOFT模型的优化和改进。此外，XS-VID还激发了其他相关研究，如视频目标跟踪、多目标检测和实时视频分析等。这些工作不仅提升了视频目标检测的性能，也为相关领域的技术应用提供了坚实的基础。