LUART Dataset (Unaligned UAV RGBT Tracking)

LUART是第一个专注于未对齐UAV可见光-热红外跟踪的大规模基准数据集。它包括1,453对RGB-TIR序列，1.02M双模态帧，42个对象类别，22个挑战属性，原始UAV分辨率为RGB: 1920×1080，TIR: 640×512。

LUART is the first large-scale benchmark dataset dedicated to unaligned UAV visible light-thermal infrared tracking. It contains 1,453 RGB-TIR sequence pairs, 1.02 million bimodal frames, 42 object categories, and 22 challenging attributes. The original UAV resolutions are RGB: 1920×1080 and TIR: 640×512.

原始信息汇总

数据集概述

数据集名称

LUART (Unaligned UAV RGBT Tracking Dataset)

数据集简介

LUART 是首个专注于非对齐无人机可见光-热红外跟踪的大规模基准数据集。该数据集相关的研究论文“Unaligned UAV RGBT Tracking: A Largescale Benchmark and A Novel Approach”已被 AAAI 2026 接收。

核心数据规模

• 序列对数量：1,453 个 RGB–TIR 序列对。
• 总帧数：102 万双模态帧。
• 目标类别：42 个物体类别。
• 挑战属性：22 个挑战属性。
• 原始分辨率：
  • RGB：1920×1080。
  • TIR：640×512。

下载信息

• 下载地址：https://pan.baidu.com/s/168vWYtxPqoagds8WcPuJUA
• 提取码：er4r

基准测试性能 (LUART测试集)

在 LUART 测试集上，所提方法 SFCATrack 的性能如下：

• PR (Precision Rate)：57.3
• NPR (Normalized Precision Rate)：51.9
• SR (Success Rate)：44.6

其他相关信息

• 该仓库还包含另一个数据集 LasHeR-Unaligned 的基准测试结果。
• SFCATrack 方法在 LUART 和 LasHeR-Unaligned 两个主要的非对齐 RGBT 基准测试上均取得了最先进的性能。

搜集汇总

数据集介绍

构建方式

在无人机多模态跟踪领域，LUART数据集作为首个专注于非对齐可见光-热红外追踪的大规模基准，其构建过程体现了严谨的数据采集与标注策略。该数据集通过实际无人机飞行场景捕获了1,453对RGB-TIR序列，涵盖42种目标类别与22种挑战属性，原始分辨率分别为1920×1080与640×512，总计包含1.02M双模态帧。数据采集注重场景多样性与挑战性，确保了在复杂环境下的模态间空间与时间非对齐特性，为后续算法研究提供了真实且丰富的训练与评估基础。

特点

LUART数据集的核心特点在于其大规模与非对齐双模态结构，专门针对无人机平台下的可见光与热红外图像追踪任务设计。数据集不仅帧数量达到百万级别，更涵盖了广泛的目标类别与环境挑战属性，如光照变化、遮挡及尺度变换等。其非对齐特性模拟了实际应用中模态间空间与时间不一致的难题，为多模态融合算法提供了极具现实意义的测试平台。该数据集的高分辨率原始图像进一步保留了丰富的细节信息，有助于推动跨模态表征学习与鲁棒跟踪技术的发展。

使用方法

研究者在利用LUART数据集时，可将其应用于多模态跟踪算法的训练、验证与性能评估。数据集通常按序列划分，支持对RGB与TIR模态的非对齐输入进行端到端或分阶段处理。用户可通过下载提供的百度云链接获取数据，并参照基准结果中的精度（PR）、归一化精度（NPR）与成功率（SR）等指标进行模型对比。该数据集亦兼容主流跟踪框架，便于集成新颖的融合模块或损失函数，以探索在复杂无人机场景下提升跨模态跟踪鲁棒性的有效途径。

背景与挑战

背景概述

多模态目标追踪作为计算机视觉领域的前沿方向，其核心在于融合可见光与红外等异构传感器数据以提升复杂场景下的鲁棒性。LUART数据集由研究团队于2025年11月正式发布，作为首个专注于非对齐无人机可见光-热红外追踪的大规模基准，旨在解决跨模态数据在时空未对齐条件下的融合难题。该数据集涵盖1,453个序列对与超过百万帧双模态图像，涉及42类目标与22种挑战属性，为推进无人机在夜间、雾霾及目标遮挡等恶劣环境中的追踪性能提供了关键数据支撑，相关成果已被AAAI 2026收录，显著推动了跨模态感知技术的发展。

当前挑战

在非对齐多模态追踪领域，核心挑战在于如何有效融合时空未配准的可见光与热红外序列，以应对光照突变、目标形变及背景干扰等复杂场景。LUART数据集构建过程中，需克服无人机平台运动导致的模态间时空偏移问题，同时确保大规模数据标注的精确性与一致性。此外，数据集中涵盖的多样挑战属性，如尺度变化、快速运动与热交叉干扰，对算法设计提出了更高要求，需在模态互补性与对齐误差间取得平衡，以实现鲁棒且高效的目标追踪。

常用场景

经典使用场景

在无人机视觉跟踪领域，多模态融合技术正成为提升复杂环境下目标追踪鲁棒性的关键路径。LUART数据集作为首个专注于未对齐无人机可见光-热红外追踪的大规模基准，其经典使用场景集中于评估和开发跨模态对齐算法。研究者通常利用该数据集模拟无人机在昼夜交替、恶劣天气或目标遮挡等挑战性条件下的追踪任务，通过对比RGB与TIR模态在时空未对齐情况下的数据差异，设计先进的融合模型以增强跟踪的准确性与稳定性。

衍生相关工作

围绕LUART数据集，已衍生出一系列重要的学术工作，其中最具代表性的是与之同期提出的SFCATrack追踪器，该模型在LUART及LasHeR-Unaligned基准上均取得了领先性能。这些工作主要聚焦于设计时空特征校准模块、开发跨模态注意力机制以及构建端到端的未对齐融合网络，不仅丰富了多模态追踪的方法体系，也为后续研究提供了坚实的算法基础与性能标杆。

数据集最近研究

最新研究方向

在无人机多模态视觉追踪领域，非对齐RGB-热红外（RGBT）数据融合正成为前沿研究焦点。LUART数据集作为首个大规模非对齐无人机可见光-热红外追踪基准，通过提供超过百万帧的双模态图像序列，推动了跨模态表征学习与自适应对齐技术的发展。近期，基于该数据集提出的SFCATrack方法在AAAI 2026会议上获得认可，其在复杂场景下实现了模态间特征的自适应校准，显著提升了追踪精度与鲁棒性。这一进展不仅解决了传统对齐方法在动态无人机视角下的局限性，还为夜间追踪、恶劣天气监测等实际应用提供了新的技术范式，标志着多模态感知向更灵活、更实用的方向演进。