RGBT-Tiny

RGBT-Tiny is a large-scale visible-thermal benchmark which consists of 115 high-quality paired image sequence, 93K frames and 1.2M manual annotations, and covers abundant targets and diverse senarios. Details of this dataset can be found in our paper. Over 81% of targets are smaller than 16x16, and we provide paired bounding box annotations with tracking id to offer an extremely challenging benchmark with wide-range applications, such as RGBT fusion, detection and tracking.

RGBT-Tiny 是一款大规模可见光-热红外基准数据集，包含115组高质量成对图像序列、9.3万帧图像以及120万条人工标注，涵盖丰富的目标类别与多样的场景环境。该数据集的详细信息可参阅我们的学术论文。本数据集中超过81%的目标尺寸小于16×16像素，我们提供带有跟踪ID的成对边界框标注，以此构建极具挑战性且应用场景广泛的基准数据集，可应用于RGBT融合、目标检测与目标跟踪等研究方向。

原始信息汇总

RGBT-Tiny: A Large-Scale Benchmark for Visible-Thermal Tiny Object Detection

数据集概述

RGBT-Tiny是一个大规模的可见光-热红外微小目标检测基准数据集，包含115个高质量配对图像序列，共93,000帧和120万个手动标注。该数据集覆盖了丰富的目标和多样化的场景。超过81%的目标尺寸小于16x16，提供了带有跟踪ID的配对边界框标注，适用于可见光-热红外融合、检测和跟踪等广泛应用。

数据集特性

丰富的多样性

• 目标在可见光和热红外模态中的分布。
• 不同光照条件下的场景分布。

大密度变化

• 各序列的密度分布，包括稀疏、中等和密集。

小尺度目标

• 各目标类别的大小分布。

时间遮挡

• 不同程度的遮挡情况，包括无遮挡、轻微遮挡、中等遮挡和严重遮挡。

评估指标

SAFit评估

• 中心点像素偏差和IoU偏差曲线。
• 不同C值下的SAFit偏差曲线。

SAFit损失训练

• 在RGBT-Tiny数据集上，不同损失函数下的SAFit结果。
• 在COCO数据集上，不同损失函数下的SAFit和IoU结果。

基准结果

• 基于SAFit的现有可见光检测、可见光显著目标检测、热红外显著目标检测和可见光-热红外检测方法在RGBT-Tiny数据集上的结果。
• 基于IoU的现有可见光检测、可见光显著目标检测、热红外显著目标检测和可见光-热红外检测方法在RGBT-Tiny数据集上的结果。

下载

下载将在接受后发布。

搜集汇总

数据集介绍

构建方式

在构建RGBT-Tiny数据集时，研究者们精心挑选了115个高质量的可见光与热成像配对图像序列，共计93,000帧，并进行了120万次手动标注。这些数据涵盖了丰富的目标种类和多样化的场景，特别是超过81%的目标尺寸小于16x16像素，为微小目标检测提供了极具挑战性的基准。此外，数据集还提供了带有跟踪ID的配对边界框标注，以支持RGBT融合、检测和跟踪等多种应用。

特点

RGBT-Tiny数据集的显著特点在于其大规模、高质量的可见光与热成像配对数据，以及对微小目标的广泛覆盖。数据集不仅包含了丰富的目标种类和多样化的场景，还特别关注了目标的密度变化、尺寸分布和时间遮挡情况，为研究者提供了全面的评估条件。此外，数据集的标注精细，包括跟踪ID的配对边界框，使得其在多模态融合和目标跟踪任务中具有极高的应用价值。

使用方法

使用RGBT-Tiny数据集时，研究者可以通过提供的配对图像序列和标注信息，进行可见光与热成像的融合、检测和跟踪等任务的训练与评估。数据集的下载需填写相关表格，并通过官方渠道获取。在实验过程中，建议采用SAFit度量标准进行性能评估，该标准考虑了像素偏差和IoU偏差，能够更准确地反映模型在微小目标检测中的表现。此外，数据集还提供了基线结果和对比表格，供研究者在实验中参考和对比。

背景与挑战

背景概述

RGBT-Tiny数据集是由Xinyi Ying等研究人员于2024年创建的一个大规模可见光-热红外微小目标检测基准。该数据集包含115个高质量的配对图像序列，共计93,000帧和120万个手动标注，涵盖了丰富的目标类型和多样化的场景。其核心研究问题在于如何有效融合可见光和热红外图像，以实现对微小目标的精确检测和跟踪。这一数据集的推出，为可见光-热红外融合、检测和跟踪等领域的研究提供了极具挑战性的基准，极大地推动了相关技术的发展。

当前挑战

RGBT-Tiny数据集面临的挑战主要包括：1) 微小目标的检测，数据集中超过81%的目标尺寸小于16x16像素，这对现有的检测算法提出了极高的要求；2) 多模态数据的融合，如何有效整合可见光和热红外图像的信息，以提升检测精度；3) 数据集构建过程中的标注复杂性，手动标注120万个目标框需要大量的人力和时间，且标注的准确性直接影响数据集的质量。这些挑战不仅考验了算法的性能，也对数据集的构建和管理提出了更高的要求。

常用场景

经典使用场景

在可见光与热红外图像融合领域，RGBT-Tiny数据集被广泛用于微小目标检测与跟踪任务。该数据集通过提供115个高质量的配对图像序列，涵盖了丰富的目标种类和多样化的场景，特别适用于研究可见光与热红外图像融合技术在微小目标检测中的应用。其独特的标注方式，包括带有跟踪ID的配对边界框，为算法在复杂环境下的性能评估提供了极具挑战性的基准。

实际应用

在实际应用中，RGBT-Tiny数据集为可见光与热红外图像融合技术在安防监控、自动驾驶和军事侦察等领域提供了重要的数据支持。例如，在安防监控中，该数据集可以帮助开发更高效的微小目标检测算法，提升夜间或复杂环境下的监控能力。在自动驾驶领域，通过融合可见光与热红外图像，可以增强车辆在低光照条件下的目标识别能力，从而提高行车安全性。

衍生相关工作

基于RGBT-Tiny数据集，研究者们开发了多种先进的可见光与热红外图像融合算法，显著提升了微小目标检测的准确性和鲁棒性。例如，一些研究工作通过引入新的损失函数和评估指标，如SAFit，进一步优化了目标检测模型在复杂环境下的表现。此外，该数据集还激发了在多模态数据融合、目标跟踪和场景理解等方面的深入研究，推动了相关领域的技术革新。