DRGBT-1K

DRGBT-1K 是一个大规模高质量的动态 RGBT 跟踪基准数据集，包含 1,045 个真实捕获的序列和 795K 帧对，覆盖 24 个目标类别和 15 种挑战属性，数据通过 DJI Mavic 3T 和 Hikvision RGBT 相机等多平台设备采集，用于支持动态 RGBT 跟踪研究。DRGBT-1K is a large-scale, high-quality benchmark dataset for dynamic RGBT tracking. It contains 1,045 real-captured sequences and 795K frame pairs, covering 24 object categories and 15 challenging attributes. The dataset was collected via multi-platform devices including DJI Mavic 3T and Hikvision RGBT cameras, and is intended to support research on dynamic RGBT tracking.

原始信息汇总

DRGBT-1K 数据集详情

数据集概述

DRGBT-1K 是一个大规模、高质量的动态 RGBT 跟踪（Dynamic RGBT Tracking）基准数据集，由论文《DRGBT-1K: A Large-scale High-quality Benchmark for Dynamic RGBT Tracking》提出。该数据集聚焦于现实世界中多异构平台（如无人机和地面相机）协同感知场景下的目标跟踪问题。

核心特点

• 全真实采集：所有 1,045 个序列均来自真实场景的跨平台交接，避免合成构造。
• 大规模：共包含 1,045 个真实序列、795K 帧对（考虑多视角后总计 2,090 个 RGBT 序列）和超过 799K 个密集标注的目标边界框。
• 多平台成像设备：数据采集使用 DJI Mavic 3T（无人机）和 Hikvision RGBT Camera（手持/地面），保留真实视角不连续性。
• 丰富场景与类别：覆盖 24 个目标类别，涵盖白天、夜晚、高速公路、公园、校园等多种场景。
• 真实挑战：标注 15 个挑战属性，反映实际 DRGBT 跟踪难题。

与现有基准对比

数据集	任务类型	序列数量	总帧数	目标类别	挑战属性	动态模态	跨平台	真实跨平台序列数
GTOT	RGBT	50	7.8K	9	7	✕	✕	0
RGBT210	RGBT	210	104.7K	22	12	✕	✕	0
RGBT234	RGBT	234	116.7K	22	12	✕	✕	0
LasHeR	RGBT	1224	734.8K	32	19	✕	✕	0
VTUAV	RGBT	500	1.7M	13	13	✕	✕	0
DRGBT603	DRGBT	603	1.49M	29	12	✓	✓	203
DRGBT-1K (Ours)	DRGBT	1045 (2090)	795K	24	15	✓	✓	1045

15 个挑战属性

属性	全称	描述
HO	Heavy Occlusion	目标被严重遮挡
PO	Partial Occlusion	目标被轻微或部分遮挡
LI	Low Illumination	低光照条件下采集（如夜间）
LR	Low Resolution	目标区域模糊或视觉分辨率低
BC	Background Clutter	背景复杂且包含许多干扰物体
HI	High Illumination	场景中出现强光照或眩光
SA	Similar Appearance	目标附近出现相似物体，难以区分
FL	Frame Lost	连续几帧完全相同
SO	Small Object	目标在图像中非常小
FM	Fast Motion	目标在相邻帧间快速移动
OV	Out-of-View	目标离开相机视野后重新出现
SV	Scale Variation	目标发生显著的尺度变化
CM	Camera Moving	相机有明显运动或抖动
TC	Thermal Crossover	目标与背景温度相似（低热对比度）
ARC	Aspect Ratio Change	边界框长宽比超出 [0.5, 2] 范围

训练/测试划分

划分	序列数	用途
训练集	800	用于训练深度 DRGBT 跟踪器
测试集	245	用于基准评估
总计	1045	—

训练集和测试集在目标类别、挑战属性和昼夜比例上保持相似分布。

数据集下载

• DRGBT-1K (Aligned)：BaiduNetdisk（Password: xxxx）| Google Drive | Hugging Face
• DRGBT-1K (Unaligned)：BaiduNetdisk（Password: xxxx）| Google Drive | Hugging Face
• UGVT-1K：BaiduNetdisk（Password: xxxx）| Google Drive | Hugging Face
• Evaluation Toolkit：BaiduNetdisk（Password: xxxx）| Google Drive | Hugging Face

数据集文件结构

sequence_name/ ├── ground_viewq/ │ ├── RGB/ │ │ ├── 000001.jpg │ │ └── ... │ ├── TIR/ │ │ ├── 000001.jpg │ │ └── ... │ └── init.txt ├── uav_viewq/ │ ├── RGB/ │ │ ├── 000001.jpg │ │ └── ... │ ├── TIR/ │ │ ├── 000001.jpg │ │ └── ... │ └── init.txt ├── challenges.txt ├── modality.txt ├── platforms.txt ├── scene_class.txt ├── target_class.txt

基准评估结果

评估指标

• Precision Rate (PR)：中心位置误差在 20 像素内的帧比例
• Normalized Precision Rate (NPR)：按目标大小归一化的中心位置误差
• Success Rate (SR)：边界框重叠率（IoU），使用曲线下面积（AUC）评估

整体性能（测试集）

方法	来源	PR (%)	NPR (%)	SR (%)
GOLA	CVPR26	51.18	46.42	38.01
FMTrack	TCSVT25	48.64	41.58	34.91
MMLoRAT	ECCV24	47.76	43.06	34.92
TATrack	AAAI24	47.82	41.17	34.40
UATrack	IJCV26	46.92	40.77	34.02

属性与子集性能

各跟踪器在 15 个挑战属性和 3 个变体子集（MVO：仅模态变化、PVO：仅平台变化、CV：组合变化）上进行了评估。关键观察：

• CMRL（专用 DRGBT 跟踪器）在平台转换子集（PVO 和 CV）上表现出色，并在 LR、HI、FL、OV 和 CM 等退化相关属性上取得最佳 PR 和 SR 分数。
• GOLA 在最多单个挑战属性（包括 PO、LI、SO、FM、SV 和 ARC）及 MVO 子集上取得最佳成功率。
• TATrack 在 BC、SO、SV 和 ARC 属性上取得最高精确率。
• TMKD 在 SA 和 TC 属性上表现具有竞争力。

在线评估平台

https://www.codabench.org/competitions/17422/

搜集汇总

数据集介绍

构建方式

动态多模态跟踪领域长期受限于单一观测平台的假设，而真实场景中目标常由异构平台协同观测。为此，DRGBT-1K数据集应运而生，其构建过程完全基于真实世界场景，利用DJI Mavic 3T无人机与海康威视RGBT手持/地面相机，通过真实的跨平台交接捕获了1045个序列，总计79.5万帧图像对。所有序列均经过密集的目标边界框标注，涵盖24个目标类别，并针对动态RGBT跟踪中的15种挑战属性进行了精细标注，确保了数据的高质量与真实性。

特点

该数据集的核心特点在于其大规模与全真实捕获属性，包含1045个序列及2090个RGBT跟踪视角，远超前身DRGBT603的规模。其标注质量卓越，超过79.9万个密集边界框为模型训练提供了坚实基础。丰富的场景覆盖了昼夜、公路、公园等多样环境，15种挑战属性如严重遮挡、低照度、热交叉等，精准反映了实际跟踪中的动态模态与视角变化难题，为评估算法鲁棒性提供了严苛而全面的测试平台。

使用方法

使用DRGBT-1K时，研究者可从BaiduNetdisk或Google Drive下载对齐与未对齐两个版本的数据集，其中未对齐版本专为空间扰动与跨模态对齐研究设计。数据集按类别分布划分为800个训练序列与245个测试序列，文件结构清晰，包含多视角RGB/TIR图像及初始化文件。评估采用单次通过协议，以精确率、归一化精确率和成功率作为主要指标，并已提供基线结果与在线评估平台，便于研究者快速复现与比较性能。

背景与挑战

背景概述

动态多模态目标追踪是计算机视觉领域的前沿研究方向，旨在模拟真实协作感知系统中异构平台（如无人机与地面摄像头）间的目标交接场景。传统RGB-T追踪基准（如GTOT、LasHeR等）均假设单平台、固定视角及传感器同步，难以应对实际应用中观测平台切换引发的模态与视角动态变化。为此，研究团队于近年构建了DRGBT-1K数据集，作为首个大规模、全真实采集的动态RGB-T追踪基准。该数据集由1045段真实跨平台交接序列构成，包含79.5万帧图像对与逾79.9万个密集标注框，覆盖24类目标及15种挑战属性，显著促进了非理想条件下多源信息融合追踪算法的发展。

当前挑战

DRGBT-1K所解决的领域核心挑战在于应对追踪过程中观测平台与可用模态的双重动态变化：当目标在无人机与地面异质传感器间交接时，视角突变、分辨率差异与热红外交叉等现象导致传统追踪器性能骤降。此外，数据构建过程亦面临诸多难题：真实场景下异构设备物理结构差异引发RGB与热红外图像间固有空间偏移，需提供对齐与非对齐双版本以支撑空间扰动研究；跨平台视角切换导致目标外观剧烈变化，需设计包含重度遮挡（HO）、低照度（LI）、热交叉（TC）等15种属性的精细标注体系；同时，为确保场景多样性，需协调昼夜、高速路、校园等复杂环境下的采集策略，平衡类别分布以支持公平训练与评测。

常用场景

经典使用场景

DRGBT-1K数据集的核心应用场景在于动态跨平台RGBT跟踪（Dynamic RGBT Tracking）的基准评估与算法研发。该数据集特别针对多异构观测平台（如无人机与地面摄像头）交替观测目标时的模态与视角动态变化问题而设计，提供了1045段完全真实采集的跨平台视频序列，覆盖24类目标与15种挑战属性。研究者可利用该数据集训练和测试具备跨平台自适应能力的跟踪器，评估其在视角切换、模态缺失、光照剧变等复杂条件下的鲁棒性，从而推动动态协同感知系统的技术演进。

解决学术问题

DRGBT-1K有效解决了现有RGBT跟踪基准中缺乏真实跨平台动态场景的学术瓶颈。此前研究多基于单一固定观测平台，忽略了实际协同感知中平台切换引发的空间位移、视角不连续和模态时效性差异等关键问题。该数据集通过提供大规模真实跨平台标注数据，使学术界得以量化评估跟踪算法在平台变化（PVO）、模态变化（MVO）及两者耦合（CV）情境下的性能退化程度，揭示了传统RGBT跟踪器在动态环境下的脆弱性，为设计面向真实协同感知的鲁棒跟踪框架奠定了数据基础。

衍生相关工作

DRGBT-1K推动了动态跨平台RGBT跟踪领域的系列衍生工作。基于该基准，研究者发展了专用动态跟踪架构，如CMRL通过跨平台模态关联学习处理平台切换时的特征对齐问题，GOLA采用全局局部自适应机制同时应对模态与视角变化。此外，该数据集促进了面向缺失模态的鲁棒跟踪研究，如TMKD通过知识蒸馏在平台切换时保持跟踪稳定性。这些工作均以DRGBT-1K为训练与测试平台，其公开的排行榜和评估工具链也吸引了更多学者参与动态多模态跟踪的前沿探索。