LSOTB-TIR

LSOTB-TIR是一个大规模、高多样性的热红外目标跟踪基准，由哈尔滨工业大学深圳研究院创建。该数据集包含1400个热红外序列，总计超过60万帧，并标注了超过73万个目标边界框。数据集分为评估集和训练集，旨在支持深度学习在热红外目标跟踪领域的应用，解决现有基准数据量小、对象种类少、场景和挑战有限的问题。LSOTB-TIR的应用领域广泛，包括视频监控、海上救援和夜间驾驶辅助等，特别是在完全黑暗的环境中跟踪目标。LSOTB-TIR is a large-scale, high-diversity thermal infrared object tracking benchmark developed by the Shenzhen Research Institute of Harbin Institute of Technology. This dataset comprises 1400 thermal infrared sequences, with a total of over 600,000 frames and more than 730,000 annotated target bounding boxes. Split into an evaluation set and a training set, this benchmark is designed to facilitate the application of deep learning in the field of thermal infrared object tracking, and address the shortcomings of existing benchmarks including small dataset scale, limited object categories, and narrow coverage of scenarios and challenge types. LSOTB-TIR has broad application prospects across multiple fields, including video surveillance, maritime rescue, nighttime driving assistance and other scenarios, particularly for target tracking in fully dark environments.

搜集汇总

数据集介绍

构建方式

LSOTB-TIR数据集的构建方式是通过收集和筛选大量真实场景中的热红外视频序列，并使用自制的半自动标签工具对每个帧中的目标进行精确标注。该数据集分为训练集和评估集，训练集包含1280个序列，超过650K个边界框，47个目标类别；评估集包含120个序列，超过82K帧，22个目标类别，4个场景子集和12个挑战子集。为了评估跟踪器在不同属性上的表现，数据集定义了4种场景属性和12种挑战属性。

特点

LSOTB-TIR数据集的特点是其规模大、多样性高，是目前为止最大且最多样化的热红外目标跟踪基准。数据集包含1400个热红外序列和超过600K帧，涵盖了5种目标类别（人、动物、车辆、飞机、船只）和4种场景（手持、无人机、车载、视频监控）。数据集还定义了4种场景属性和12种挑战属性，以便更全面地评估跟踪器的性能。此外，数据集还包含了高质量的目标边界框标注，为基于深度学习的跟踪器提供了丰富的训练数据。

使用方法

LSOTB-TIR数据集的使用方法如下：首先，可以从提供的链接下载数据集和代码。然后，可以使用数据集中的训练集对深度学习模型进行训练，以便学习特定的热红外特征。接着，可以使用评估集中的数据对训练好的跟踪器进行评估，包括整体性能评估和基于属性的评估。最后，可以比较不同跟踪器在不同场景和挑战下的表现，以便选择最适合特定应用场景的跟踪器。

背景与挑战

背景概述

在人工智能领域，热红外（TIR）目标跟踪是一项重要的任务。该任务旨在给定TIR对象在第一帧中的初始位置后，在序列的其余帧中定位该对象。随着民用热成像设备的普及，TIR目标跟踪作为一种关键智能视觉技术受到了越来越多的关注。它广泛应用于视频监控、海上救援和夜间驾驶辅助等领域，因为它能够在完全黑暗的环境中跟踪对象。尽管在过去几年中，一些TIR目标跟踪方法被提出，但TIR目标跟踪仍然面临着许多尚未解决的问题，例如干扰物、强度变化和热交叉等问题。因此，构建一个更大、更多样化的TIR目标跟踪基准对于推动该领域的发展至关重要。LSOTB-TIR是一个大型、高多样性的TIR目标跟踪基准，由哈尔滨工业大学深圳校区的研究人员创建。该基准包含一个评估数据集和一个训练数据集，共计1,400个TIR序列和超过60万帧。研究人员在所有序列的每一帧中标注了对象的边界框，并生成了超过73万个边界框。LSOTB-TIR是目前为止最大、最多样化的TIR目标跟踪基准。为了评估跟踪器在不同属性上的性能，研究人员在评估数据集中定义了4个场景属性和12个挑战属性。通过发布LSOTB-TIR，研究人员鼓励社区开发基于深度学习的TIR跟踪器，并对其进行公平和全面的评估。此外，研究人员还在LSOTB-TIR上评估和分析了超过30个跟踪器，以提供一系列基线，结果表明深度跟踪器取得了有希望的性能。此外，研究人员还重新训练了一些代表性的深度跟踪器，并在三个基准上展示了LSOTB-TIR训练数据集对深度TIR跟踪器性能的显著提升。

当前挑战

LSOTB-TIR基准面临的挑战主要包括：1)解决领域问题的挑战：TIR目标跟踪在现实世界中面临着各种挑战，如干扰物、强度变化和热交叉等问题。这些挑战使得TIR目标跟踪变得复杂和困难。2)构建过程中的挑战：构建一个大型、高多样性的TIR目标跟踪基准需要大量的时间和资源。研究人员需要收集、处理和标注大量的TIR视频，这是一个耗时的过程。此外，研究人员还需要设计一种有效的评估方法来评估跟踪器的性能。

常用场景

经典使用场景

LSOTB-TIR数据集作为一个大规模、高多样性的热红外目标跟踪基准，其经典使用场景主要包括视频监控、海事救援、夜间驾驶辅助等领域。在视频监控中，LSOTB-TIR数据集可以帮助研究者评估和开发深度学习模型，以实现更准确、更可靠的热红外目标跟踪。在海事救援和夜间驾驶辅助等领域，LSOTB-TIR数据集可以提供大量的训练数据，帮助模型学习在黑暗环境中进行目标跟踪的能力。

解决学术问题

LSOTB-TIR数据集解决了热红外目标跟踪领域中存在的一些常见问题，如遮挡、强度变化、热交叉等。该数据集提供了大量的训练数据和测试数据，可以帮助研究者开发更加鲁棒、准确的热红外目标跟踪算法。此外，LSOTB-TIR数据集还定义了4个场景属性和12个挑战属性，可以帮助研究者更全面地评估跟踪算法的性能。

衍生相关工作

LSOTB-TIR数据集的发布，衍生了大量的相关工作。例如，研究者可以利用LSOTB-TIR数据集开发新的热红外目标跟踪算法，并将其应用于实际场景中。此外，LSOTB-TIR数据集还可以用于评估和比较现有的热红外目标跟踪算法，从而推动该领域的研究进展。