LasHeR

该数据集名为LasHeR，是一个包含1224个来自不同成像平台捕捉的RGBT（红绿蓝热成像）序列的追踪数据集。这些序列涵盖了包括高光照和突发光照变化等19种属性。该数据集为RGB和TIR（热红外）两种模态提供了精确一致的地真标注。此外，该数据集确保了覆盖目标物体的局部区域在不同RGBT模态中的精确对齐，解决了不同模态中的径向畸变问题。该数据集规模包含1224个序列，大约73万帧。其任务是进行多模态物体追踪。

The dataset named LasHeR is a tracking dataset consisting of 1224 RGBT (Red-Green-Blue Thermal Imaging) sequences captured by different imaging platforms. These sequences cover 19 attributes including high illumination and sudden illumination variations. This dataset provides precise and consistent ground truth annotations for both RGB and TIR (Thermal Infrared) modalities. Furthermore, it ensures precise alignment of the local regions covering target objects across different RGBT modalities and resolves the radial distortion issue across various modalities. In terms of scale, this dataset comprises 1224 sequences with approximately 730,000 frames. The benchmark task for this dataset is multimodal object tracking.

搜集汇总

数据集介绍

构建方式

在计算机视觉领域，RGBT追踪作为融合可见光与热红外信息的前沿方向，长期受限于数据规模与多样性的不足。为应对这一挑战，LasHeR数据集通过多平台成像系统精心构建，涵盖1224对时空对齐的视频序列，总计超过73万帧图像对。数据采集采用可旋转平台与手持设备相结合的策略，确保帧率同步与光学轴心对齐，随后通过人工标注匹配点估计单应性参数，实现可见光图像向热红外坐标系的精准空间配准。每一帧均经过人工精细标注边界框，并采用模态共享标注策略，确保标注质量与评估一致性，为深度RGBT追踪器的训练与评估奠定了坚实基础。

特点

LasHeR数据集以其大规模与高多样性著称，显著拓展了RGBT追踪的研究边界。其规模远超现有基准，涵盖32类目标对象、20余种室内外场景，并在季节、天气、昼夜等环境因素上呈现广泛分布。数据集引入七项新颖挑战属性，如透明遮挡与帧丢失等，更贴近实际应用中的复杂情形。得益于多平台成像设计，数据在分辨率、视角与场景复杂度上展现出丰富变化，突破了传统单平台采集的局限。此外，长尾分布的类别结构与密集的挑战标注进一步增强了数据集的现实代表性，为开发鲁棒且实用的追踪算法提供了全面而严峻的测试环境。

使用方法

LasHeR数据集为RGBT追踪研究提供了灵活而严谨的使用框架。研究者可将其整体作为测试集，对追踪算法进行大规模性能评估；亦可按目标类别分布划分为训练与测试子集，以支持深度模型的训练与验证。数据集提供对齐与未对齐两个版本，其中未对齐版本通过单应性变换自动生成高质量真值，专为无需配准的实用化RGBT追踪任务设计。评估时可采用精度率、归一化精度率与成功率等标准指标，并结合19项挑战属性进行细粒度分析。数据集的开放不仅促进了算法比较与性能基准的建立，更通过重新训练实验验证了其在大规模深度模型训练中的关键价值，推动着RGBT追踪向更实际的应用场景迈进。

背景与挑战

背景概述

在计算机视觉领域，可见光与热红外信息的融合追踪（RGBT Tracking）因其在复杂环境下的鲁棒性而备受关注。然而，该领域长期缺乏大规模、高多样性的基准数据集，制约了深度RGBT追踪器的训练与算法的全面评估。为应对这一挑战，安徽大学的研究团队于2021年正式发布了LasHeR数据集。该数据集由陈龙立、薛万林等学者主导构建，旨在解决RGBT追踪中数据规模不足、场景单一、挑战覆盖不全等核心问题。LasHeR包含1224对时空对齐的可见光与热红外视频序列，总计超过73万帧图像，每帧均经过人工精细标注边界框。其数据采集跨越季节、天气、昼夜等多种环境因素，涵盖32类目标对象和20余种复杂场景，显著提升了数据多样性与现实代表性。该数据集的建立为深度RGBT追踪模型的训练提供了充足样本，并通过引入未对齐版本推动了实际应用场景中免对齐追踪技术的研究，对促进多模态视觉追踪领域的发展具有里程碑意义。

当前挑战

LasHeR数据集致力于解决RGBT目标追踪领域的核心挑战，即如何在复杂多变的真实环境中实现鲁棒、精准的跨模态目标定位。具体而言，其面临的挑战包括：在领域问题层面，需应对目标遮挡（如透明物体遮挡、完全遮挡）、光照剧烈变化、热交叉、目标形变、快速运动及外观相似干扰等多重复杂因素；同时，热红外图像帧丢失、目标尺度与宽高比突变等新型挑战的引入，进一步增加了追踪任务的难度。在构建过程中，研究团队需克服多重技术障碍：为实现多平台数据采集，需设计并集成手持式与云台式等多种成像系统，确保跨设备的数据一致性；在多模态对齐环节，需通过局部单应性变换实现可见光与热红外图像的高精度空间配准，并处理镜头畸变带来的对齐误差；此外，面对大规模数据标注，需制定严格的标注策略并借助专用工具进行人工校验，以保证超过73万帧边界框标注的质量与一致性；最后，为生成未对齐版本的数据真值，需基于SIFT特征匹配与单应性变换设计自动化标注流程，避免二次人工标注的偏差与耗时问题。

常用场景

经典使用场景

在计算机视觉领域，可见光与热红外融合追踪（RGBT Tracking）旨在利用两种模态的互补信息，在复杂环境中实现鲁棒的目标定位。LasHeR数据集作为大规模高多样性基准，其经典使用场景在于为深度RGBT追踪器提供充足的训练数据，并作为评估算法性能的综合性平台。该数据集通过1224对时空对齐的视频序列，覆盖了广泛的物体类别、拍摄视角、场景复杂度和环境因素，使得研究者能够在接近真实世界的多样化条件下开发和验证追踪模型。

衍生相关工作

基于LasHeR数据集，研究者们衍生出一系列经典的RGBT追踪相关工作，推动了该领域的算法演进。以MANet、DAPNet、MaCNet等为代表的多适配器网络和注意力机制研究，利用LasHeR的大规模数据优化了模态共享与模态特异性特征的学习。以mfDiMP为代表的基于判别式模型预测的追踪器，通过在LasHeR上训练验证了大规模真实数据相较于合成数据对离线学习模型的显著提升效果。此外，针对数据集新引入的挑战，如处理透明遮挡和帧丢失的鲁棒性设计，以及基于未对齐版本开发的免对齐融合追踪框架，都成为了后续研究的重要起点，持续丰富着RGBT追踪的技术体系。

数据集最近研究

最新研究方向

在可见光与热红外融合跟踪领域，LasHeR数据集作为首个大规模高多样性基准，正推动研究向更贴近实际应用的方向演进。前沿探索聚焦于无对齐多模态跟踪，旨在克服传统方法对严格空间配准的依赖，提升算法在动态复杂场景中的鲁棒性。同时，针对数据集引入的透明遮挡、帧丢失等新型挑战，学者们致力于开发自适应特征融合与长时记忆建模机制，以应对目标消失与重现的难题。此外，基于Transformer的架构与跨模态对比学习正成为提升跟踪判别能力的热点，这些进展不仅深化了多模态表征的理论理解，也为智能监控、自动驾驶等实际任务提供了关键技术支撑。

相关研究论文

• LasHeR: A Large-scale High-diversity Benchmark for RGBT Tracking

  安徽大学人工智能学院 · 2021年