信息跟踪基准（ITB）

信息跟踪基准（ITB）是由鹏城实验室等机构联合开发的一个小而信息丰富的视觉跟踪基准。该数据集从1.2M帧中精选出7%的帧，涵盖了所有典型的挑战性场景，旨在促进跟踪器性能的评估。ITB通过质量评估机制，考虑挑战级别、区分强度和外观变化密度，从现有基准中选择最具信息量的序列，并收集额外序列以确保跟踪场景的多样性和平衡。数据集包含180个序列，每个场景至少有20个序列，适用于评估深度跟踪器在各种实际应用场景中的表现，如智能监控、人机交互和视频分析。

The Information Tracking Benchmark (ITB) is a compact yet information-rich visual tracking benchmark jointly developed by Peng Cheng Laboratory and other institutions. This dataset selects 7% of the frames from 1.2 million frames, covering all typical challenging scenarios, and aims to facilitate the evaluation of tracker performance. ITB selects the most informative sequences from existing benchmarks through a quality assessment mechanism that takes into account challenge level, discrimination intensity and appearance variation density, and collects additional sequences to ensure the diversity and balance of tracking scenarios. The dataset contains 180 sequences, with at least 20 sequences per scenario, and is suitable for evaluating the performance of deep trackers in various practical application scenarios such as intelligent surveillance, human-computer interaction and video analysis.

搜集汇总

数据集介绍

构建方式

在视觉跟踪领域，随着算法性能的显著提升，传统大规模基准测试因样本冗余和鉴别力不足而面临评估效率低下的挑战。为此，信息跟踪基准（ITB）采用了一种系统化的构建方法。研究团队首先设计了一个综合质量评估机制，从现有数据集中筛选最具信息量的序列，该机制综合考虑了挑战性水平、算法鉴别强度以及外观变化密度三个核心维度。在此基础上，为了确保跟踪场景的多样性与平衡性，团队进一步收集了新的视频序列，最终为9个典型应用场景各自构建了包含20个序列的子集，使得整个基准仅使用了约120万总帧数中的7%，在保证评估有效性的同时极大提升了效率。

特点

该数据集的核心特点在于其高度的信息密度与场景代表性。相较于传统基准，ITB通过精心筛选，确保了每个序列都包含密集且富有挑战性的目标外观变化，避免了冗长且静态的无效帧，从而使得评估过程更加紧凑高效。数据集涵盖了人体、人体部位、动物、车辆、标志与标识、运动球体、三维物体、无人机视角以及卡通动画等九大典型跟踪场景，并进一步细分为101个子场景，在目标类别和运动模式上均呈现出卓越的多样性。这种结构设计使得ITB能够更贴近真实应用中的复杂情况，为全面、深入地评估跟踪器在不同场景下的鲁棒性提供了理想平台。

使用方法

为促进公平、可复现的算法比较，该数据集配套了标准化的评估协议。研究者需使用指定的训练数据集（如LaSOT、TNet和GOT-10K的训练集）对跟踪器进行离线训练，并利用GOT-10K的验证集进行模型选择与超参数调优。在测试阶段，采用三遍评估取平均值的策略以稳定性能测量，并以平均交并比作为核心排序指标。该协议统一了训练数据与评估流程，有效消除了因训练集不一致或测试阶段特殊调参所带来的偏差，使得不同跟踪方法能在同一基准上进行公正、有效的性能对比，从而准确揭示各类方法在不同场景下的优势与局限。

背景与挑战

背景概述

视觉跟踪作为计算机视觉领域的核心任务，在智能监控、人机交互及视频分析等应用场景中具有重要价值。随着深度学习技术的迅猛发展，现有跟踪基准在样本冗余性和算法区分度方面逐渐显现不足，导致评估过程耗时且效率低下。信息跟踪基准（ITB）由鹏城实验室、大连理工大学及谷歌研究院等机构的研究团队于近年联合构建，旨在通过设计一种原则性方法，从现有及新采集数据集中筛选出最具信息量的序列，构建一个小规模但信息密集的评估平台。该基准涵盖人体、动物、车辆等九类典型场景，每个场景包含20个序列，仅使用约120万帧中的7%，在保持评估有效性的同时显著提升了效率。ITB通过统一训练协议重新评估15种前沿跟踪器，揭示了各场景下的有效方法，并为未来研究方向指明了新的挑战，对推动视觉跟踪技术向实际应用迈进具有深远影响。

当前挑战

信息跟踪基准致力于解决视觉跟踪领域在接近真实应用场景下的综合性评估问题，其核心挑战在于如何高效区分不同跟踪器的性能，并深入探究复杂因素并发时的模型鲁棒性。在构建过程中，研究团队面临多重挑战：首先，需设计一套科学的序列质量度量机制，综合考量挑战程度、判别强度及外观变化密度，以从海量数据中筛选出最具代表性的高信息量序列，避免因长序列中静态帧过多导致的评估效率低下。其次，为确保基准的多样性与平衡性，必须在九类场景中各自采集20个序列，并涵盖丰富的子类别，这要求对现有数据集进行深度分析与去冗余，同时补充高质量的新序列以覆盖所有典型挑战。此外，建立公平统一的评估协议也是一大难点，需协调不同跟踪器在训练数据、超参数等方面的差异，确保比较的公正性与结论的可靠性。

常用场景

经典使用场景

在视觉跟踪领域，信息跟踪基准（ITB）最经典的使用场景是作为高效且全面的评估平台。该基准通过精心设计的质量评估机制，从海量视频帧中筛选出最具挑战性和判别力的序列，覆盖人体、动物、车辆、无人机等九大典型场景。研究者利用ITB能够在短时间内对多种先进跟踪器进行系统性评测，不仅节省了93%的评估时间，还能准确反映算法在接近真实应用环境下的性能差异，为跟踪技术的迭代优化提供了关键参照。

衍生相关工作

ITB的构建理念与评估框架催生了一系列关注跟踪效率与场景泛化性的研究工作。其质量评估机制被后续研究借鉴，用于设计更紧凑的评测子集或动态基准更新策略。基于ITB的场景化分析揭示了不同跟踪框架（如孪生网络、分类器-IoUNet、Transformer）在特定场景下的优势与局限，进而引导研究者开发自适应场景特征的混合模型。这些工作深化了对跟踪本质挑战的理解，推动了领域向高效、鲁棒、可解释的方向演进。

数据集最近研究

最新研究方向

在视觉跟踪领域，信息跟踪基准（ITB）的提出标志着评估范式从规模扩张向质量优化的转变。该数据集通过设计序列质量度量机制，聚焦于挑战性、判别力与变化密度三个维度，从海量数据中精选出最具信息量的序列，从而在仅保留7%帧数的前提下实现高效且全面的性能评估。当前前沿研究围绕多场景复杂因素耦合下的跟踪鲁棒性展开，尤其在人体部件、运动球类等高难度场景中，模型面对外观突变、噪声初始化及高度相似干扰物时的表现成为热点议题。ITB的构建不仅推动了跨框架统一评估协议的发展，也为Transformer等新兴架构在复杂真实环境中的应用提供了关键验证平台，引领着跟踪技术向更贴近实际应用需求的方向演进。

相关研究论文

• An Informative Tracking Benchmark

  鹏城实验室 · 2021年