AVisT

该数据集名为AVisT，是近期用于评估基于注意力的视觉跟踪方法的一个基准测试。其任务是对视觉对象进行跟踪。

This dataset, named AVisT, is a recent benchmark developed for evaluating attention-based visual tracking approaches, whose core task is visual object tracking.

搜集汇总

数据集介绍

构建方式

在视觉跟踪领域，现有基准难以充分评估算法在恶劣可见度条件下的鲁棒性。AVisT数据集的构建始于从YouTube平台收集约400个涵盖18种恶劣可见度场景的视频，这些场景包括浓雾、暴雨、沙尘暴等极端天气，以及火焰、眩光、低光照等复杂成像条件。通过筛选与剪辑，保留与跟踪目标相关的片段，并利用KeepTrack和STARK等代表性跟踪器进行初步性能分析，最终精选出120个极具挑战性的序列。为确保标注质量，采用双团队协作模式：标注团队逐帧绘制目标边界框，验证团队进行复审与修正，针对低光照或浓雾等极端场景，还运用图像增强技术辅助边界识别，从而获得包含8万帧高精度标注的数据集。

特点

AVisT数据集的核心特点在于其广泛覆盖了现实世界中多种恶劣可见度场景，这些场景被系统归纳为五大属性：天气条件、遮挡效应、成像效应、目标效应以及伪装。具体而言，数据集包含18种细分场景，如暴雨、浓雾、火焰、眩光、低光照、小目标、干扰物及伪装等，涉及42个目标类别，序列平均长度达664帧。其挑战性体现在当前最优跟踪器MixFormerL-22k仅取得56.0%的AUC分数，显著低于其他主流数据集，凸显了算法在应对视觉退化、目标模糊及环境干扰方面的不足。此外，每帧均标注了完全遮挡、部分遮挡、出界及极端可见度等标志，为深入分析算法在不同属性下的性能提供了结构化基础。

使用方法

AVisT数据集主要用于评估视觉目标跟踪算法在恶劣可见度条件下的性能。研究人员可遵循标准的一遍评估协议，以交并比（IoU）为基础计算成功率曲线下面积（AUC）作为核心指标，同时也可参考归一化精度图进行辅助分析。数据集支持按五大属性进行细分评估，例如单独测试算法在天气条件或伪装场景下的鲁棒性，从而识别特定弱点。使用前需从指定GitHub仓库下载标注文件与视频序列，并利用提供的工具加载真实边界框与标志信息。通过在该数据集上测试不同跟踪范式（如孪生网络、判别分类器或Transformer架构）的性能，研究者能够推动新算法设计，以提升在真实复杂环境中的跟踪准确性。

背景与挑战

背景概述

视觉目标跟踪作为计算机视觉领域的核心任务，旨在动态估计未知类别目标在视频序列中的状态与轨迹。随着深度学习技术的演进，现有基准数据集如LaSOT、TrackingNet等虽推动了跟踪算法的显著进步，但其场景多样性不足，尤其在恶劣能见度条件下表现薄弱。AVisT数据集由MBZUAI、苏黎世联邦理工学院等机构的研究团队于2022年联合创建，专注于填补这一研究空白。该数据集汇集了120个视频序列与80,000帧标注，涵盖雨雾、沙尘暴、火焰遮挡、低光照及伪装等18类极端场景，旨在评估跟踪器在真实世界复杂环境中的鲁棒性，为自动驾驶、灾害救援等应用提供关键基准。

当前挑战

AVisT数据集致力于解决视觉目标跟踪在恶劣能见度场景下的核心挑战，包括目标在极端天气、遮挡或光照不足下的外观剧烈变化，以及伪装目标与背景的高度相似性导致的跟踪漂移。在构建过程中，研究团队面临数据采集与标注的双重困难：首先，从公开资源筛选并裁剪符合多样性要求的视频需平衡场景覆盖与内容相关性；其次，在低能见度帧中精确标注目标边界需借助图像增强技术辅助人工判别，且通过多轮团队交叉验证以提升标注质量，部分序列的修订率高达24%。这些挑战共同塑造了数据集的严谨性与实用性。

常用场景

经典使用场景

在计算机视觉领域，视觉目标追踪技术旨在连续估计视频序列中目标对象的状态与轨迹。AVisT数据集专为应对恶劣可见度场景而设计，其经典使用场景聚焦于评估和提升追踪算法在极端环境下的鲁棒性。该数据集涵盖了包括浓雾、暴雨、沙尘暴等恶劣天气条件，以及火焰、眩光、低光照等复杂成像效应，为研究者提供了一个全面测试追踪模型在真实世界挑战性场景中性能的平台。通过在这些多样化且高难度的序列上进行基准测试，研究人员能够深入分析算法在目标外观剧烈变化或环境干扰强烈时的表现，从而推动追踪技术向更实用、更稳健的方向发展。

衍生相关工作

AVisT数据集的推出催生了一系列针对恶劣可见度追踪的衍生研究工作，推动了该领域的算法创新与性能提升。基于该数据集的评估分析揭示了不同追踪范式（如Siamese网络、判别分类器和Transformer）在各类属性下的表现差异，激励研究者开发更适应极端条件的混合架构或增强策略。例如，研究指出ImageNet-22K预训练对改善天气条件属性追踪效果显著，这促进了大规模预训练与领域自适应方法的结合探索。同时，数据集中涵盖的复杂场景如伪装、低光照等，也激发了专门针对特定挑战的算法改进，例如结合图像增强技术或时序上下文建模以提升在恶劣可见度下的目标判别能力。这些工作共同拓展了视觉追踪的研究边界，为实现更稳健的实时追踪系统提供了理论支撑与实践方向。

数据集最近研究

最新研究方向

在计算机视觉领域，视觉对象追踪技术正面临复杂环境下的严峻挑战，尤其是恶劣能见度条件下的鲁棒性需求日益凸显。AVisT数据集的推出，填补了现有基准在多样化恶劣场景下的空白，其涵盖的18种场景如浓雾、暴雨、伪装等，直接关联自动驾驶、救援任务等前沿应用热点。当前研究聚焦于提升Transformer架构在恶劣条件下的泛化能力，例如利用大规模预训练模型（如ImageNet-22k）增强特征提取，以应对天气变化和遮挡效应。该数据集不仅揭示了现有追踪器在极端场景下的性能瓶颈（最佳AUC仅56.0%），更推动了跨属性适应性算法的创新，为开发更具鲁棒性的实时追踪系统提供了关键评估框架，对推动视觉追踪技术向真实世界复杂环境迈进具有里程碑意义。

相关研究论文

• AVisT: A Benchmark for Visual Object Tracking in Adverse Visibility

  MBZUAI · 2022年