VISO

VISO数据集是由吉林一号卫星星座收集的大规模卫星视频数据集，包含47个高质量视频，总计1,646,038个目标实例和3,711个轨迹，用于移动目标检测和跟踪。数据集涵盖多种城市规模元素和移动车辆，如飞机、汽车、船只和火车，适用于城市规模交通管理、海洋监测和智慧城市等应用。创建过程中，研究人员手动标注了所有实例，并使用累积多帧差分和鲁棒矩阵完成技术提高检测率和减少误报。VISO数据集是首个公开的卫星视频移动目标检测和跟踪基准，可用于评估现有检测器和跟踪器的性能，解决卫星视频中移动目标检测和跟踪的挑战。

The VISO dataset is a large-scale satellite video dataset collected by the Jilin-1 satellite constellation. It consists of 47 high-quality videos, containing a total of 1,646,038 target instances and 3,711 trajectories, and is tailored for moving object detection and tracking tasks. The dataset covers various urban-scale elements and moving vehicles including aircraft, cars, vessels and trains, making it suitable for applications such as urban-scale traffic management, ocean monitoring and smart city development. During its construction, researchers manually annotated all instances, and applied cumulative multi-frame difference and robust matrix completion techniques to enhance detection rates and reduce false alarms. The VISO dataset is the first publicly available benchmark for moving object detection and tracking in satellite videos, which can be used to evaluate the performance of existing detectors and trackers, and tackle the challenges in moving object detection and tracking from satellite videos.

搜集汇总

数据集介绍

构建方式

VISO数据集的构建方式是通过收集吉林一号卫星星座在不同轨道位置拍摄的47个高质量视频，这些视频由一系列真彩色图像组成，覆盖面积可达数平方公里。数据集包含了1,646,038个实例的目标检测标注和3,711个轨迹的目标跟踪标注。数据集的构建考虑了不同交通状况（如密集车道和交通拥堵）以及城市规模元素（如道路、桥梁、湖泊和各类移动车辆），以确保数据集的多样性和综合性。

特点

VISO数据集的特点在于其大规模、高分辨率和丰富的标注信息。数据集中的卫星视频帧通常具有比地面摄像头捕获的图像更大的空间尺寸，例如，数据集中的原始图像大小约为12,000×5,000像素。此外，数据集中90%的实例都是小尺寸对象（小于50像素），这与现有通用视频数据集中通常拥有丰富外观信息且数量有限的实例形成了鲜明对比。VISO数据集还包含了大量的实例，每帧图像中平均有200个实例，这对于现有的目标检测和跟踪方法提出了巨大的挑战。

使用方法

VISO数据集的使用方法包括但不限于目标检测、单目标跟踪（SOT）和多目标跟踪（MOT）。对于目标检测任务，数据集被分为训练集、验证集和测试集。对于SOT任务，数据集提供了3,159个tracklets，包含1.12百万帧。对于MOT任务，数据集收集了3,711个tracklets，分为训练集、验证集和测试集。用户可以根据自己的研究需求选择合适的数据集部分进行实验。

背景与挑战

背景概述

在遥感领域中，卫星视频监控对于大范围区域的持续观测具有重要意义，其在交通管理、海洋监测以及智慧城市建设等方面具有广泛的应用前景。然而，由于卫星视频中目标的外观信息不足，以及高质量数据集的缺乏，使得卫星视频中的移动目标检测和跟踪仍然是一项具有挑战性的任务。为了应对这一挑战，研究者们构建了VISO数据集，这是一个大规模的卫星视频数据集，包含丰富的注释信息，用于移动目标检测和跟踪任务。该数据集由吉林一号卫星星座收集，包括47个高质量的卫星视频，以及1646038个用于目标检测的实例和3711个用于目标跟踪的轨迹。此外，研究者们还提出了一种基于累积多帧差异和鲁棒矩阵补全的运动建模基准方法，以提高检测率并减少误报。最后，他们建立了第一个公开的卫星视频移动目标检测和跟踪基准，并在该数据集上对几个代表性方法进行了广泛评估。

当前挑战

VISO数据集面临的主要挑战包括：1) 所解决的领域问题是卫星视频中的移动目标检测和跟踪，这些目标通常具有低分辨率、低对比度和复杂背景等特点，使得现有的基于外观特征的方法难以直接应用；2) 构建过程中遇到的挑战包括数据收集、标注和评估等方面的困难。卫星视频的分辨率较低，导致目标尺度非常小，通常小于50像素，但数量却很大，甚至单个帧中可能超过100个。此外，卫星视频的背景更加复杂，包含城市中的河流、建筑、密集的道路等元素，并且背景会随着光照变化而不断变化。这些特性对现有的目标检测和跟踪方法提出了巨大的挑战。

常用场景

经典使用场景

VISO数据集在卫星视频中移动对象的检测和跟踪任务中扮演着关键角色。该数据集通过提供丰富的注释，使得研究人员能够在实际场景中对移动对象进行准确的识别和跟踪。VISO数据集的经典使用场景包括城市规模交通管理、海洋监测和智能城市等。在这些场景中，卫星视频可以提供大范围的时空监控，而VISO数据集则为研究人员提供了一个公正且全面的评估现有方法性能的平台。

实际应用

VISO数据集在实际应用场景中具有广泛的应用价值。在交通管理方面，VISO数据集可以帮助监控城市交通流量，提高交通管理效率。在海洋监测方面，VISO数据集可以帮助监测海洋环境，及时发现海洋污染等问题。在智能城市方面，VISO数据集可以帮助构建智能监控系统，提高城市安全管理水平。此外，VISO数据集还可以应用于其他领域，如农业监测、灾害预警等。

衍生相关工作

VISO数据集的发布衍生了许多相关的研究工作。研究人员基于VISO数据集提出了多种移动对象检测和跟踪方法，如基于帧差分和背景建模的方法、基于低秩矩阵分解的方法以及基于深度学习的方法。这些方法在VISO数据集上的实验结果表明，它们在检测和跟踪卫星视频中的移动对象方面取得了显著的性能提升。此外，VISO数据集还促进了多目标跟踪、持续跟踪等研究方向的发展，为相关领域的研究提供了重要的数据基础和参考。