FELT

FELT数据集是由安徽大学计算机科学与技术学院创建的，是目前最大的帧事件跟踪数据集，包含742个视频和1,594,474对RGB帧和事件流。该数据集旨在支持长期帧事件单目标跟踪任务，涵盖了45个目标对象类别和14个挑战属性。数据集的创建考虑了多模态跟踪的特殊性，特别是事件数据的空间稀疏性和RGB数据在弱化场景中的不完整性。FELT数据集的应用领域包括自动驾驶、无人机航拍和智能安全监控等，旨在解决长期跟踪中的频繁目标变化、噪声和不确定性问题。The FELT dataset was developed by the School of Computer Science and Technology, Anhui University. It is currently the largest frame-event tracking dataset to date, containing 742 videos and 1,594,474 pairs of RGB frames and event streams. This dataset is designed to support long-term single-object tracking tasks that leverage both RGB frame and event modality data. It covers 45 target object categories and 14 challenging tracking attributes. The development of the FELT dataset takes into account the unique characteristics of multimodal tracking, particularly the spatial sparsity of event-based data and the incompleteness of RGB data in weakly illuminated scenarios. Application domains of the FELT dataset include autonomous driving, unmanned aerial vehicle (UAV) aerial photography, intelligent security monitoring and other related fields, aiming to address core challenges in long-term tracking including frequent target variations, environmental noise and inherent uncertainty.

搜集汇总

数据集介绍

构建方式

在视觉目标跟踪领域，传统RGB相机易受光照变化、快速运动等挑战性因素影响，而事件相机虽在动态范围与时间分辨率上具有优势，却难以捕捉静态目标与色彩信息。为推进长时帧-事件融合跟踪研究，FELT数据集应运而生。该数据集采用DVS346事件相机同步采集RGB帧与事件流，严格遵循长时性、大规模、多挑战、双模态及信息不完整性五大设计原则。通过专业标注团队对742个视频序列中的159万余帧进行多轮边界框标注，确保了数据质量。采集过程涵盖了室内外多样场景，并定义了包括小目标、光照变化、快速运动、目标消失等在内的14类挑战属性，构建了迄今规模最大的帧-事件跟踪基准。

特点

FELT数据集的核心特点在于其长时性与大规模性，每个视频序列均包含超过1000帧的RGB与事件流配对数据，总帧数达159万余，为当前该领域最大规模的数据集。数据集涵盖45类目标物体，并精细标注了14种挑战性属性，如低光照、目标遮挡、视野外出等，全面模拟真实世界的复杂跟踪场景。尤为突出的是，数据集天然体现了模态信息的不完整性：RGB帧可能因运动模糊或光照不足而退化，事件流则常呈现空间稀疏性或缺乏目标信号。这种非对称、非互补的双模态特性，为开发鲁棒的融合算法提供了极具价值的测试平台。

使用方法

FELT数据集主要用于训练与评估长时帧-事件单目标跟踪算法。研究者可将数据集划分为包含520个视频的训练集与222个视频的测试集，利用其提供的对齐RGB帧和事件流进行模型开发。数据使用支持三种模态输入：纯RGB帧、纯事件流以及RGB-事件融合。为促进公平比较，原论文已对15种代表性跟踪器进行了重训练与评估，提供了详尽的基线性能。在使用时，算法需处理长时序列中目标频繁消失与重现的问题，并有效应对双模态信息的不完整与异步特性。该数据集亦支持跨模态跟踪任务的泛化性验证，为推动鲁棒的多模态跟踪研究奠定了坚实基础。

背景与挑战

背景概述

在计算机视觉领域，视觉目标追踪旨在通过自适应调整的边界框定位指定目标，广泛应用于自动驾驶、无人机航拍与智能安防等场景。传统基于RGB摄像头的追踪方法易受低光照、快速运动及严重遮挡等挑战性因素影响，鲁棒性受限。受生物启发的神经形态事件相机因其异步采样、高动态范围与低能耗等独特成像原理，为复杂场景下的鲁棒追踪提供了新途径。然而，纯事件流在目标静止或纹理细节捕捉方面存在固有缺陷。为融合RGB帧的丰富语义信息与事件流的高时域分辨率优势，安徽大学等机构的研究团队于2024年提出了首个面向长时任务的帧-事件单目标追踪数据集FELT。该数据集包含742个视频序列、共计159万余对RGB帧与事件流，涵盖45类目标物体与14种挑战属性，成为迄今规模最大的帧-事件融合追踪基准，旨在推动长时、多模态视觉追踪算法的发展与评估。

当前挑战

FELT数据集致力于解决长时帧-事件单目标追踪这一核心问题，其面临的领域挑战主要体现在多模态信息的不完备性与异构融合的复杂性上。具体而言，RGB模态在低光照、运动模糊等场景下信号退化，而事件流则受空间稀疏性与静态目标无响应等局限，导致传统融合策略难以实现稳定互补。在数据集构建过程中，挑战集中于长时序列的采集与标注：需确保每个视频包含至少1000帧以上数据以符合长时定义，同时需在14种预定义挑战属性（如小目标、光照突变、目标移出视野等）下保持数据多样性。此外，双模态数据的时空对齐、大规模高质量边界框的人工标注，以及事件流与RGB帧的硬件同步采集，均对数据集的构建提出了极高的工程与精度要求。

常用场景

经典使用场景

在视觉目标追踪领域，FELT数据集作为首个长期大规模帧-事件单目标追踪基准，其经典使用场景聚焦于评估和开发多模态融合追踪算法。该数据集通过同步采集RGB帧与事件流数据，模拟了真实世界中目标长期存在且面临光照变化、快速运动、遮挡等复杂挑战的环境。研究者利用FELT能够系统测试追踪模型在信息不完整场景下的鲁棒性，例如当RGB帧因低光照退化或事件流空间稀疏时，算法能否通过跨模态互补保持稳定追踪。

实际应用

在实际应用层面，FELT数据集支撑的技术可广泛应用于自动驾驶、无人机航拍与智能安防监控系统。这些场景常面临光照剧烈变化、高速运动目标或复杂背景干扰，传统RGB相机易受运动模糊、曝光不足影响。事件相机的高动态范围与微秒级时序分辨率能有效捕捉瞬态变化，结合RGB的丰富纹理信息，可实现全天候鲁棒追踪。例如在夜间道路监控中，系统通过融合事件流的运动敏感性与RGB的轮廓细节，持续追踪车辆或行人，提升安全预警的准确性与实时性。

衍生相关工作

FELT数据集的发布催生了一系列围绕多模态长期追踪的创新研究。基于其构建的基准，学者们提出了如AMTTrack等融合联想记忆机制的Transformer模型，通过引入现代Hopfield网络增强跨模态特征关联能力。同时，该数据集促进了RGB-Event追踪方法的横向拓展，衍生出在RGB-热红外（如LasHeR、RGBT234）与RGB-深度（如DepthTrack）等模态上的泛化研究。这些工作不仅深化了对多模态数据互补性的理解，也为跨传感器融合追踪提供了可复现的评估框架与算法改进方向。