MV-RGBT

MV-RGBT数据集由江南大学人工智能与计算机学院创建，专注于多模态保证（MMW）场景下的RGBT跟踪。该数据集包含122个视频对，涵盖36个对象类别和19个场景，总帧数达到89.9k，分辨率为640x480。数据集的创建旨在解决现有基准在极端成像条件下的不足，通过提供多样化和挑战性的数据，推动RGBT跟踪技术的发展。MV-RGBT数据集特别关注模态有效性，通过分析何时进行模态融合，以提高跟踪算法的性能和鲁棒性。此外，数据集的应用领域包括夜间和恶劣天气条件下的目标跟踪，旨在解决单一传感模态无法保证稳定跟踪结果的问题。

The MV-RGBT dataset was developed by the School of Artificial Intelligence and Computer Science, Jiangnan University, and focuses on RGBT tracking in multi-modal assurance (MMW) scenarios. It consists of 122 video pairs, covering 36 object categories and 19 scenarios, with a total of 89.9k frames and a resolution of 640×480. The dataset was constructed to address the limitations of existing benchmarks under extreme imaging conditions, and to promote the advancement of RGBT tracking technologies by providing diverse and challenging data. The MV-RGBT dataset specifically emphasizes modality validity, analyzing when to conduct modal fusion to improve the performance and robustness of tracking algorithms. Additionally, its application scenarios include target tracking under nighttime and severe weather conditions, aiming to solve the issue that a single sensing modality cannot guarantee stable tracking outcomes.

搜集汇总

数据集介绍

构建方式

MV-RGBT数据集的构建旨在解决现有基准数据集在多模态保证（MMW）场景中的代表性不足问题。该数据集专门收集于MMW场景，这些场景中单一传感模态无法确保稳定的跟踪结果。通过使用配备热红外（TIR）传感器和RGB传感器的平台，MV-RGBT包含了122个多模态视频对，涵盖36个不同的对象类别和19个不同的场景，确保了数据集的多样性和挑战性。此外，数据集根据模态信息的有用性进一步分为MV-RGBT-RGB和MV-RGBT-TIR两个子集，以便于对跟踪方法进行深入分析。

特点

MV-RGBT数据集的主要特点在于其专注于MMW场景，这些场景中单一模态的数据可能无效或有害。数据集的多样性和挑战性通过包含多种对象类别和场景来体现，使其成为评估RGBT跟踪算法在极端条件下的理想平台。此外，数据集的细分设计允许对不同模态的有效性进行详细分析，从而促进对多模态信息融合策略的研究。

使用方法

MV-RGBT数据集适用于评估和开发RGBT跟踪算法，特别是在多模态保证（MMW）场景中的应用。研究者可以使用该数据集来测试其算法在极端条件下的鲁棒性，并通过分析不同模态的有效性来优化融合策略。数据集的细分设计还支持对算法在不同模态下的表现进行深入研究，从而推动多模态跟踪技术的发展。

背景与挑战

背景概述

视觉对象跟踪作为计算机视觉领域的热门研究方向，旨在预测视频序列中目标的位置和大小，从其初始状态开始。近年来，单一可见光传感器的局限性日益凸显，促使研究者们将目光投向辅助模态的整合，如热红外（TIR）、深度、事件和语言等。在这一趋势下，多模态跟踪，特别是RGBT跟踪，因其互补特性而备受关注。RGBT跟踪在多模态保障（MMW）场景中表现尤为突出，如夜间和恶劣天气条件下，单一模态难以确保稳定的跟踪结果。然而，现有基准数据集主要收集于常见场景，其中RGB和TIR信息质量均较高，未能充分代表严重成像条件下的情况，导致在MMW场景中的跟踪失败。为填补这一空白，Zhangyong Tang等人于2024年提出了一个新的基准数据集MV-RGBT，专门在MMW场景中采集数据，包含更多对象类别和场景，提供了一个多样且具有挑战性的基准。

当前挑战

MV-RGBT数据集的构建面临两大主要挑战。首先，数据集需在多模态保障（MMW）场景中采集，这些场景通常涉及极端天气、夜间或过度曝光等条件，其中一种模态的信息可能严重受损，导致数据集的代表性和实用性受到限制。其次，在构建过程中，如何有效融合RGB和TIR模态的信息，以应对模态信息不一致或缺失的问题，是一个关键挑战。现有方法在MMW场景中的鲁棒性尚未得到充分探索，因此，开发新的融合策略以确定何时进行模态融合，成为推动RGBT跟踪技术发展的关键问题。

常用场景

经典使用场景

MV-RGBT数据集在RGBT（可见光与热红外）目标跟踪领域中具有经典应用场景。该数据集特别适用于多模态保证（MMW）场景，如夜间和恶劣天气条件下的目标跟踪。在这些场景中，单一传感模态往往无法确保稳定的跟踪结果，而MV-RGBT数据集通过提供在MMW场景下采集的视频数据，促进了多模态信息融合策略的研究和开发。

解决学术问题

MV-RGBT数据集解决了现有RGBT跟踪基准数据集在MMW场景下代表性不足的问题。通过提供在MMW场景下采集的数据，该数据集推动了对多模态信息融合策略的研究，特别是在何时进行融合这一关键问题上。这不仅提升了RGBT跟踪算法在复杂环境中的鲁棒性，还为实际应用中的部署提供了更可靠的建议。

衍生相关工作

基于MV-RGBT数据集，研究者们开发了多种多模态信息融合策略，如MoETrack方法。这些方法不仅在MV-RGBT数据集上取得了显著的性能提升，还在其他标准基准测试中表现出色，如RGBT234、LasHeR和VTUAV-ST。此外，MV-RGBT数据集还激发了对RGBT检测等其他多模态任务的研究，推动了多模态计算机视觉领域的整体发展。