GOT-10k

GOT-10k是一个大规模、高多样性的基准数据集，用于在野外进行通用目标跟踪。该数据集由中国科学院自动化研究所创建，包含超过10,000个视频片段和150万个手动标注的边界框。GOT-10k是首个使用WordNet语义层次结构指导类别填充的视频轨迹数据集，确保了移动目标的全面和相对无偏的覆盖。此外，GOT-10k首次引入了单次跟踪器评估协议，训练和测试类别完全不重叠，避免了偏向熟悉对象的评估结果，促进了跟踪器开发中的泛化能力。数据集还提供了额外的标签，如运动类别和目标可见比率，便于开发对运动和遮挡敏感的跟踪器。GOT-10k的应用领域包括监控、增强现实、生物学和机器人技术，旨在解决在无约束环境中跟踪移动目标的挑战。GOT-10k is a large-scale, high-diversity benchmark dataset for generic object tracking in the wild. Developed by the Institute of Automation, Chinese Academy of Sciences, it contains over 10,000 video clips and 1.5 million manually annotated bounding boxes. As the first video tracking dataset that uses the WordNet semantic hierarchy to guide category filling, GOT-10k ensures comprehensive and relatively unbiased coverage of moving objects. Additionally, it introduces the one-shot tracker evaluation protocol for the first time, where training and test categories are completely non-overlapping, thus avoiding evaluation results biased towards familiar objects and promoting generalization capability in tracker development. The dataset also provides supplementary labels including motion categories and target visibility ratios, which facilitate the development of trackers sensitive to motion and occlusion. Its application scenarios cover surveillance, augmented reality, biology and robotics, with the goal of addressing the challenges of tracking moving objects in unconstrained environments.

搜集汇总

数据集介绍

构建方式

GOT-10k数据集的构建基于WordNet结构，涵盖了超过560个移动对象类别和87种运动模式，远超同类数据集的规模。该数据集通过手动标注超过150万个边界框，提供了10,000多个视频片段，为深度跟踪器的统一训练和稳定评估提供了基础。此外，GOT-10k首次采用one-shot协议进行跟踪器评估，确保训练和测试类别之间无重叠，避免了评估结果对熟悉对象的偏倚，促进了跟踪器在未见类别上的泛化能力。

特点

GOT-10k数据集的显著特点包括其广泛的类别覆盖和运动模式多样性，确保了数据集的高多样性。此外，该数据集引入了one-shot评估协议，这是首个采用此协议的视频轨迹数据集，有效避免了评估偏倚。数据集还提供了额外的标签信息，如运动类别和对象可见比例，有助于开发对运动和遮挡敏感的跟踪器。

使用方法

GOT-10k数据集适用于开发和评估通用目的的短时跟踪器。研究者可以使用该数据集进行统一训练和评估，利用其丰富的标注信息和多样性来提升跟踪算法的性能。数据集的one-shot协议确保了评估的公正性，使得跟踪器在未见类别上的表现能够得到准确评估。此外，数据集提供的在线评估服务器和响应式排行榜，为跟踪社区提供了全面的评估工具包。

背景与挑战

背景概述

GOT-10k，由Lianghua Huang、Xin Zhao和Kaiqi Huang于2019年创建，是一个大规模的高多样性通用目标跟踪数据集。该数据集基于WordNet结构构建，涵盖了超过560个移动对象类别和87种运动模式，远超同类数据集的规模。GOT-10k的核心研究问题是为通用目标跟踪提供一个统一的训练和评估平台，旨在推动类无关、通用目的的短期跟踪器的发展。通过引入一次性协议，GOT-10k避免了训练和测试类别之间的重叠，从而促进了跟踪器在未见类别上的泛化能力。该数据集的发布对计算机视觉领域，特别是目标跟踪领域，产生了深远的影响，为研究人员提供了一个强大的工具来评估和改进跟踪算法。

当前挑战

GOT-10k数据集在构建和应用过程中面临多项挑战。首先，解决通用目标跟踪领域的挑战，包括处理类无关性质和跟踪过程中不可预测的外观变化，如遮挡、对象变形和背景干扰。其次，在数据集构建过程中，确保覆盖广泛的对象类别和运动模式，同时保持数据的高质量和多样性，是一个复杂且耗时的任务。此外，引入一次性协议以避免评估偏差，确保跟踪器在未见类别上的泛化能力，增加了数据集的复杂性和评估难度。最后，处理数据集中的类别不平衡问题，确保每个类别都能得到充分的代表，以促进更实际和可扩展的跟踪器设计。

常用场景

经典使用场景

GOT-10k数据集在通用目标跟踪领域中被广泛用于训练和评估深度跟踪器。其经典使用场景包括但不限于：通过大规模视频片段和手动标注的边界框进行统一训练和稳定评估，利用WordNet的语义层次结构确保多样移动对象的全面覆盖，以及引入一次性协议避免对熟悉对象的评估偏差。这些特性使得GOT-10k成为开发类无关、通用目的短期跟踪器的理想平台。

实际应用

GOT-10k数据集的实际应用场景广泛，包括但不限于监控系统中的目标跟踪、增强现实中的动态对象定位、生物学研究中的动物行为分析以及机器人技术中的自主导航。其提供的丰富标注和多样性数据使得开发出的跟踪算法能够更好地适应各种复杂环境，从而在实际应用中展现出更高的鲁棒性和准确性。

衍生相关工作

GOT-10k数据集的发布催生了一系列相关经典工作，如基于该数据集的深度学习跟踪算法的改进和优化，以及针对一次性协议的评估方法的研究。此外，GOT-10k还促进了多模态跟踪算法的发展，通过整合运动类别和对象可见性比率等额外标签，推动了运动感知和遮挡感知跟踪器的研究。这些衍生工作不仅提升了跟踪算法的性能，也为目标跟踪领域的进一步研究提供了新的方向和思路。