RGBT-Tiny

RGBT-Tiny是由国防科技大学电子科学与技术学院创建的大型可见光-热红外双模态小目标检测数据集。该数据集包含115对序列，93K帧，以及1.2M手动标注，涵盖7类目标和8种多样场景，主要用于解决可见光与热红外融合、检测和跟踪问题。数据集创建过程中，使用了DJI Mavic 2无人机进行数据采集，并通过相机校准和同质变换确保图像对齐。RGBT-Tiny数据集特别适用于评估和提升小目标检测算法，尤其是在极端光照和目标尺寸极小的情况下。RGBT-Tiny is a large-scale visible-thermal infrared bimodal small object detection dataset developed by the School of Electronic Science and Technology, National University of Defense Technology. This dataset comprises 115 sequence pairs, 93K frames, and 1.2M manual annotations, covering 7 object categories and 8 diverse scenarios, and is primarily utilized to address challenges in visible-thermal infrared fusion, detection and tracking. During the dataset construction, DJI Mavic 2 unmanned aerial vehicles (UAVs) were employed for data acquisition, and camera calibration and homographic transformation were adopted to ensure accurate image alignment. The RGBT-Tiny dataset is particularly well-suited for evaluating and enhancing small object detection algorithms, especially in scenarios with extreme lighting conditions and extremely small target sizes.

原始信息汇总

RGBT-Tiny: A Large-Scale Benchmark for Visible-Thermal Tiny Object Detection

RGBT-Tiny 是一个大规模的可见光-热红外数据集，包含 115 个高质量配对图像序列，共 93,000 帧和 120 万个手动标注，涵盖丰富的目标和多样化的场景。超过 81% 的目标尺寸小于 16x16，提供配对的边界框标注和跟踪 ID，适用于可见光-热红外融合、检测和跟踪等广泛应用。

数据集特性

丰富多样性

• 目标在可见光和热红外模态中的分布。
• 不同光照条件下的场景分布。

大密度变化

• 每个序列的密度分布（稀疏、中等、密集）。

小尺度目标

• 每个目标类别的大小分布。

时间遮挡

• 不同程度的遮挡情况（无遮挡、轻微遮挡、中等遮挡、严重遮挡）。

评估指标

• SAFit 度量标准，包括像素偏差、IoU 偏差曲线和 SAFit 偏差曲线。
• 不同度量标准在可见光和热红外模态中的性能比较。

基准结果

• 基于 SAFit 的现有可见光检测、可见光显著目标检测、热红外显著目标检测和可见光-热红外检测方法的结果。
• 基于 IoU 的现有可见光检测、可见光显著目标检测、热红外显著目标检测和可见光-热红外检测方法的结果。

下载

数据集下载将在接受后发布。

搜集汇总

数据集介绍

构建方式

RGBT-Tiny数据集的构建方式体现了对可见光和热红外双模态数据的高度整合与精细处理。该数据集通过专业无人机DJI Mavic 2平台，配备垂直排列的RGBT双镜头，从60-100米的高度采集视频序列。为确保数据质量，首先进行相机校准以消除镜头畸变，随后利用单应性变换将RGB图像与热红外图像对齐。为解决分辨率差异，裁剪对齐后的RGB图像使其与热红外图像尺寸一致，生成分辨率为640×512的配对图像。此外，数据集包含115对序列，总计93,000帧和120万手动标注，涵盖7个目标类别和8种多样化的场景，确保了数据集的广泛应用性和挑战性。

使用方法

RGBT-Tiny数据集的使用方法多样，适用于多种计算机视觉任务。首先，数据集可用于训练和验证可见光-热红外双模态目标检测算法，通过提供的配对图像和精细标注，研究者可以开发和优化针对小目标的检测模型。其次，数据集的跟踪ID标注使得其适用于多目标跟踪算法的评估和改进。此外，RGBT-Tiny还可用于研究多模态数据融合技术，探索如何在可见光和热红外图像间有效融合信息以提升检测性能。通过GitHub项目页面，研究者可以获取数据集并参与相关研究，推动可见光-热红外双模态技术的发展。

背景与挑战

背景概述

RGBT-Tiny数据集由Xinyi Ying等人于2024年创建，旨在解决可见光与热红外双模态（RGBT）小目标检测的挑战。该数据集包含了115对序列、93,000帧图像和120万个手动标注，涵盖了7个目标类别和8种多样化的场景，特别关注尺寸小于16×16像素的小目标。RGBT-Tiny数据集的构建填补了现有数据集在双模态小目标检测领域的空白，为RGBT融合、检测和跟踪提供了极具挑战性的基准。

当前挑战

RGBT-Tiny数据集面临的主要挑战包括：1) 小目标检测的固有难题，如极小的尺寸和复杂的背景干扰；2) 双模态图像对齐和融合的复杂性，特别是在光照和密度变化大的场景中；3) 现有评估指标对小目标检测的不适用性，导致性能评估的不准确。此外，数据集构建过程中遇到的挑战还包括高质量标注的获取和数据集的多样性覆盖，以确保其在实际应用中的广泛适用性。

常用场景

经典使用场景

RGBT-Tiny数据集在可见光与热红外双模态小目标检测领域具有经典应用场景。该数据集通过提供115对序列、93,000帧图像和120万个手动标注，涵盖了7个目标类别和8种多样化的场景，特别适用于评估多类别可见光与热红外小目标检测算法。其丰富的目标和场景多样性，尤其是超过81%的目标尺寸小于16×16像素，为研究者提供了一个极具挑战性的基准，广泛应用于可见光与热红外融合、检测和跟踪任务。

解决学术问题

RGBT-Tiny数据集解决了可见光与热红外双模态小目标检测中的多个学术难题。首先，它填补了现有数据集在双模态信息融合方面的不足，提供了大规模、高质量的对齐数据。其次，通过包含大量极小目标和多样化的光照与密度变化场景，该数据集显著提升了小目标检测算法的鲁棒性和准确性。此外，提出的尺度自适应适应度（SAFit）度量方法，有效解决了传统评估指标对小目标边界框扰动容忍度低的问题，推动了小目标检测技术的发展。

实际应用

RGBT-Tiny数据集在实际应用中具有广泛的前景，特别是在需要高精度小目标检测的领域。例如，在视频监控中，该数据集可以用于开发能够在低光照和复杂背景下有效检测行人和车辆的双模态检测系统。在自动驾驶领域，它可以提升车辆在夜间或恶劣天气条件下的目标识别能力。此外，在水上救援和无人机监控等场景中，RGBT-Tiny数据集的应用也有助于提高目标检测的准确性和可靠性。

数据集最近研究

最新研究方向

在可见光与热红外（RGBT）双模态小目标检测领域，RGBT-Tiny数据集的最新研究方向主要集中在多模态信息融合、高精度检测算法以及适应性评估指标的开发上。随着视频监控、自动驾驶等应用场景对小目标检测需求的增加，RGBT-Tiny数据集通过提供大规模、多样化的数据，推动了多模态融合检测算法的发展。研究者们不仅关注于提升检测算法的性能，还致力于开发新的评估指标，如尺度自适应适应度（SAFit），以更准确地评价算法在不同尺度目标上的表现。这些研究不仅提升了RGBT双模态检测的精度，也为实际应用中的复杂环境提供了更可靠的技术支持。

相关研究论文

• Visible-Thermal Tiny Object Detection: A Benchmark Dataset and Baselines

  国防科技大学电子科学与技术学院 · 2024年