GTOT, RGBT210, RGBT234, VOT-RGBT19, VOT-RGBT20, LasHeR, VTUAV, LSS-Dataset(from RGB), LSS-Dataset(from TIR)

GTOT: 50对视频，约1.5万帧。RGBT210: 210对视频。RGBT234: 234对视频，RGBT210的扩展。VOT-RGBT19: 60对视频，约2万帧对，RGBT234的子集。VOT-RGBT20: 60对视频，数据与VOT-RGBT19相同，但评估机制不同。LasHeR: 训练/测试分割，抬头显示视角拍摄，总计超过70万对图像；测试集包含245个视频。VTUAV: 通过无人机从顶部向下拍摄，长期跟踪；测试集包含176个视频，平均约3500帧。LSS-Dataset(from RGB): 从VID生成。LSS-Dataset(from TIR): 从TIR生成。

GTOT：包含50对视频，共计约1.5万帧。RGBT210：包含210对视频。RGBT234：包含234对视频，为RGBT210的扩展。VOT-RGBT19：包含60对视频，约2万帧，为RGBT234的子集。VOT-RGBT20：包含60对视频，数据与VOT-RGBT19一致，但评估机制有所区别。LasHeR：数据集分为训练/测试两部分，采用抬头显示视角拍摄，总计超过70万对图像；测试集包含245个视频。VTUAV：通过无人机从上方俯瞰进行长期跟踪拍摄；测试集包含176个视频，平均每段视频约3500帧。LSS-Dataset（由RGB生成）：源自VID数据集。LSS-Dataset（由TIR生成）：源自TIR数据集。

原始信息汇总

数据集概述

数据集列表

数据集	发布年份	链接	简介
OTCBVS	CVIU2007	OTCBVS	9个视频
LITIV	CVIU2012	LITIV	6个视频
GTOT	TIP2016	GTOT	50对视频，约1.5万帧
RGBT210	ACM MM2017	RGBT210	210对视频
RGBT234	PR2018	RGBT234	234对视频，RGBT210的扩展
VOT-RGBT19	VOT社区：2019	VOT-RGBT2019	60对视频，约2万帧对，RGBT 234的子集
VOT-RGBT20	VOT社区：2020	VOT-RGBT2020	60对视频，数据与VOT-RGBT2019相同，但评估机制不同
LasHeR	TIP2021	LasHeR	训练/测试分割，共超过70万对图像，测试集245个视频
VTUAV	CVPR2022	VTUAV	通过无人机从顶部拍摄，长期跟踪；测试集176个视频，平均约3300帧
MV-RGBT	Arxiv2024	MV-RGBT	122对视频，主要关注模态有效性

生成数据

数据集	发布年份	链接	简介
LSS-Dataset(from RGB)	TCSVT2021	LSS-Dataset	从VID生成
LSS-Dataset(from TIR)	TCSVT2021	LSS-Dataset	从TIR生成

方法与结果

方法概览

• XTrack
• SeqTrackv2
• KSTrack
• MINet
• BAT
• TATrack
• GMMT
• LMINet
• CAT++
• AMNet
• MPLKD
• QueryTrack
• MCTrack
• SDSTrack
• OneTracker
• UnTrack
• UStrack
• AFter
• CSTNet
• CAFF
• SAFT
• IPL
• MPT
• MIGTD
• Proformer
• AWCM
• FDAFT
• DFAT
• ViPT
• CMD
• TBSI
• BD2Track
• SiamTDR
• SiamAFTS
• UMT
• MPDMT
• RSFNet
• QAT
• PRO
• DFNet
• DTAN
• DECFNet
• DMSTM
• SiamFEA
• HATFNet
• MACFT
• LCMIT
• MMMPT
• MPDMT
• FSBNet
• MTNet
• SiamMFF
• LSAR
• CSMMA
• MPLT
• CRSP
• GABBP
• PLASSO-ADSPF
• SRCDCF
• MFENet
• RMFNet
• M2GCI
• SiamIVFN
• STRT
• SGF_MDNet+RGBT

结果分析

结果分析表格中包含了多个方法在不同数据集上的性能表现，包括精度（PR）、成功率（SR）等指标。具体数值请参考原始数据集详情页面中的表格。

搜集汇总

数据集介绍

构建方式

该数据集的构建主要基于多模态视觉对象跟踪的需求，通过收集和整理来自不同来源的视频数据，形成了一系列具有RGB和热成像（TIR）双模态的视频对。这些数据集包括GTOT、RGBT210、RGBT234等，每个数据集都经过精心筛选和标注，以确保数据的质量和多样性。例如，GTOT数据集包含了50对视频，约1.5万帧，而RGBT210则包含了210对视频。这些数据集的构建旨在为研究者提供一个全面且高质量的多模态跟踪数据资源。

特点

这些数据集的主要特点在于其多模态的特性，即同时包含可见光（RGB）和热成像（TIR）两种模态的数据。这种双模态的结合不仅丰富了数据的维度，还为研究者提供了在不同光照和环境条件下进行跟踪算法测试的机会。此外，数据集的多样性也是其显著特点之一，涵盖了从简单的日常场景到复杂的无人机视角等多种场景，确保了跟踪算法的广泛适用性。

使用方法

使用这些数据集时，研究者可以将其用于训练和验证多模态视觉对象跟踪算法。首先，可以通过下载相应的数据集文件并解压缩，然后根据需要选择合适的视频对进行分析。在训练过程中，可以将RGB和TIR模态的数据分别输入到算法中，利用双模态信息进行特征融合和目标跟踪。在验证阶段，可以通过对比算法在不同数据集上的表现，评估其在多模态环境下的鲁棒性和准确性。

背景与挑战

背景概述

RGBT-Tracking-Results-Datasets-and-Methods数据集系列，始于2023年2月7日，由Zhangyong Tang等研究人员发起，旨在深入探讨多模态视觉对象跟踪（RGBT Tracking）领域。该数据集系列涵盖了多个子数据集，如GTOT、RGBT210、RGBT234等，每个数据集均包含大量视频对及其对应的帧数据，旨在为研究人员提供丰富的多模态视觉对象跟踪数据资源。这些数据集的创建不仅推动了多模态跟踪技术的发展，还为相关领域的研究提供了坚实的基础。

当前挑战

RGBT-Tracking-Results-Datasets-and-Methods数据集系列在构建过程中面临诸多挑战。首先，多模态数据的融合与同步是一个复杂的问题，如何在不同模态间实现精确的时间和空间对齐，是确保跟踪算法性能的关键。其次，数据集的多样性和复杂性要求算法具备强大的鲁棒性和适应性，以应对各种环境条件和对象变化。此外，数据集的规模和质量也是一大挑战，如何在保证数据多样性的同时，确保数据的准确性和一致性，是数据集构建过程中需要解决的重要问题。

常用场景

经典使用场景

在多模态视觉对象跟踪领域，GTOT、RGBT210、RGBT234等数据集的经典使用场景主要集中在算法性能评估和模型训练上。这些数据集通过提供丰富的RGB和热红外图像对，使得研究人员能够开发和验证融合多模态信息的跟踪算法。例如，通过在GTOT数据集上训练模型，可以显著提升算法在复杂环境下的鲁棒性和准确性，这对于自动驾驶、安防监控等实际应用具有重要意义。

实际应用

在实际应用中，这些数据集支持的算法广泛应用于自动驾驶、安防监控、无人机导航等领域。例如，在自动驾驶系统中，结合RGB和热红外图像的跟踪算法可以提高车辆在夜间或恶劣天气条件下的感知能力，从而提升行车安全。在安防监控中，多模态跟踪技术能够更准确地识别和跟踪可疑目标，增强监控系统的效能。

衍生相关工作

基于这些数据集，研究者们开发了多种多模态跟踪算法，如DuSiamIE、TMTB、FFEUMA等，这些算法在多个公开数据集上取得了优异的性能。此外，这些数据集还催生了多篇综述性论文，如《Multi-modal visual tracking: Review and experimental comparison》和《RGBT tracking: A comprehensive review》，这些论文系统总结了多模态跟踪领域的研究进展，为后续研究提供了宝贵的参考。