DroneVehicle-C

DroneVehicle-C 是一个基于 DroneVehicle 数据集测试集生成的破坏版本数据集，旨在为无人机平台下的多模态（RGB 与热红外 TIR）车辆检测任务提供一个鲁棒性基准测试平台。该数据集通过对原始测试集图像施加多种系统性的破坏来模拟真实世界中的传感器退化或恶劣环境条件。数据集中包含 23 种不同的破坏条件，分为两大类：RGB 图像破坏（同时 TIR 图像保持干净）和 TIR 图像破坏（同时 RGB 图像保持干净）。具体破坏类型包括高斯噪声、运动模糊、亮度偏移、低对比度以及完全丢失（dropout）等，每种类型可能有多个强度等级。数据组织上，每个破坏条件对应独立的目录，分别存放处理后的 RGB 和 TIR 图像。标注文件采用 DOTA 格式的定向边界框，包含五种车辆类别：小汽车、卡车、货运车、巴士和厢式货车。所有图像尺寸为 840×712 像素（包含原数据集中的 100 像素白边）。数据集附带一个 metadata.json 文件，详细描述了各破坏条件的参数。该数据集适用于计算机视觉领域，特别是研究多模态融合、域适应、鲁棒性评估以及无人机视觉中的车辆检测任务。DroneVehicle-C is a corrupted version dataset generated from the test set of the DroneVehicle dataset, designed to provide a robustness benchmark for multimodal (RGB and thermal infrared TIR) vehicle detection tasks under drone platforms. This dataset simulates real-world sensor degradation or harsh environmental conditions by applying various systematic corruptions to the original test set images. It includes 23 different corruption conditions, divided into two main categories: RGB image corruptions (while TIR images remain clean) and TIR image corruptions (while RGB images remain clean). Specific corruption types include Gaussian noise, motion blur, brightness shift, low contrast, and complete dropout, among others, each potentially with multiple intensity levels. In terms of data organization, each corruption condition corresponds to an independent directory, storing the processed RGB and TIR images separately. The annotation files use DOTA-format oriented bounding boxes, covering five vehicle categories: car, truck, freight truck, bus, and van. All images have a size of 840×712 pixels (including the 100-pixel white border from the original dataset). The dataset comes with a metadata.json file that details the parameters of each corruption condition. It is suitable for the computer vision field, particularly for researching multimodal fusion, domain adaptation, robustness evaluation, and vehicle detection tasks in drone vision.

原始信息汇总

数据集概述：DroneVehicle-C

描述：DroneVehicle-C 是 DroneVehicle 测试集的损坏版本，用于评估无人机车辆检测中多模态 RGB+TIR 融合的鲁棒性。

来源：

• 原始数据集：Sun 等人，2022 年 IEEE TCSVT 论文 "Drone-based RGB-Infrared Cross-Modality Vehicle Detection via Uncertainty-Aware Learning"。
• 损坏处理：Saksham Singh Birla，特温特大学（TSCiT 2025 硕士论文）。

结构： 数据集根目录为 DroneVehicle_C/，包含以下内容：

• labels/：DOTA 格式的 .txt 标注文件（所有条件下相同）。
• clean/rgb/ 和 clean/ir/：原始未修改的图像。
• 24 个条件目录，例如 rgb_gaussian_noise_s1/，每个目录下包含 rgb/ 和 ir/ 子目录。
• metadata.json：条件描述和参数。
• README.md。

每个条件目录中：

• rgb/：RGB 图像（对于 rgb_* 条件为损坏版本，对于 tir_* 条件为干净版本）。
• ir/：TIR 图像（对于 rgb_* 条件为干净版本，对于 tir_* 条件为损坏版本）。

损坏条件（共 23 种）：

RGB 损坏（TIR 干净）：

• rgb_gaussian_noise_s1/s2/s3（高斯噪声，3 个严重级别）
• rgb_motion_blur_s1/s2/s3（运动模糊，3 个严重级别）
• rgb_brightness_shift_s1/s2/s3（亮度偏移，3 个严重级别）
• rgb_low_contrast_s1/s2/s3（低对比度，3 个严重级别）
• rgb_complete_dropout（完全丢失）

TIR 损坏（RGB 干净）：

• tir_sensor_noise_s1/s2/s3（传感器噪声，3 个严重级别）
• tir_blur_s1/s2/s3（模糊，3 个严重级别）
• tir_intensity_shift_s1/s2/s3（强度偏移，3 个严重级别）
• tir_complete_dropout（完全丢失）

标注信息：

• 格式：DOTA 定向边界框格式，每行：x1 y1 x2 y2 x3 y3 x4 y4 class difficult
• 类别：5 种车辆类别——car（小汽车）、truck（卡车）、freight_car（货运车）、bus（公交车）、van（厢式货车）。
• 图像尺寸：840×712 像素（每侧有 100 像素白色边框，与原始 DroneVehicle 一致）。

引用要求：

• 使用本数据集时，请引用：
  1. Sun 等人（IEEE TCSVT 2022）——原始 DroneVehicle 数据集。
  2. Saksham Singh Birla（TSCiT 2025）——损坏基准。
• 完整条件参数请参见 metadata.json。

搜集汇总

数据集介绍

构建方式

DroneVehicle-C数据集是基于DroneVehicle测试子集构建的鲁棒性基准评估数据集，专为无人机载车辆检测中的多模态RGB与热红外融合算法而设计。其核心构建策略在于对原始干净图像施加系统性的退化扰动，共涵盖23种条件变体。这些扰动被精心划分为RGB模态扰动与TIR模态扰动两大类，其中RGB扰动包括高斯噪声、运动模糊、亮度偏移、低对比度及完全缺失等五个子类，TIR扰动则包含传感器噪声、模糊、强度偏移及完全缺失等四个子类。每种扰动均设置了1至3个强度等级，从而形成了从轻微退化到极端退化的连续谱系。扰动仅作用于单一模态，而另一模态保持原始干净状态，以此精准刻画各模态在独立退化场景下的融合鲁棒性。所有标注信息均沿用了原始数据集的DOTA格式旋转边界框，确保了与原始任务的完全兼容。

特点

该数据集最显著的特点在于其系统化的多维度退化设计，为多模态融合鲁棒性研究提供了规范化的评估框架。与常见的单一类型噪声数据集不同，DroneVehicle-C同时覆盖了RGB和TIR两个模态的独立退化场景，使得研究者能够深入剖析跨模态互补性在应对各类环境干扰时的表现。此外，每种退化类型都包含了多个强度层级，例如高斯噪声从s1到s3逐步增强，这为性能退化曲线的精确绘制提供了可能。数据集还包含了极端条件下的完全缺失情况（如rgb_complete_dropout和tir_complete_dropout），用于模拟传感器完全失效时的紧急应对能力。所有标注文件在所有条件下保持一致，消除了标注不一致带来的干扰因素，使性能差异完全归因于算法对退化的鲁棒性。图像尺寸保持为840×712像素，并保留了原始数据集的白色边框特性。

使用方法

使用者可直接从HuggingFace平台获取该数据集，其目录结构清晰规范，包含labels文件夹存放统一标注文件，clean文件夹存放原始干净图像，以及23个condition子文件夹分别对应各类退化条件。每个condition文件夹内设rgb和ir两个子目录，分别存放对应模态的图像。评估流程通常采用跨条件性能对比策略：在干净条件下训练模型，然后依次在23种退化条件下进行测试，通过计算各条件下的平均精度（AP）或均值平均精度（mAP）来量化鲁棒性。DOTA格式的旋转框标注可直接被主流目标检测框架（如MMRotate、JDet等）加载使用。元数据文件metadata.json提供了各条件的详细参数说明。使用时需注意标注原始出处，同时引用Sun等人的原始论文和Birla的退化基准工作。

背景与挑战

背景概述

无人机平台下的车辆检测在智慧交通、灾害监测与军事侦察等场景中具有广泛应用。然而，单一模态的视觉传感器易受光照、天气与传感器噪声等环境影响，多模态融合（如可见光与热红外）虽能互补信息，但其在真实退化场景下的鲁棒性仍亟待系统评估。DroneVehicle-C数据集由荷兰特温特大学Saksham Singh Birla于2025年构建，基于Sun等人2022年发表的DroneVehicle数据集（IEEE TCSVT）的测试集，通过对RGB与TIR图像分别施加高斯噪声、运动模糊、亮度偏移、对比度降低及完全丢失等23种退化条件，生成了首个针对无人机车载检测的多模态鲁棒性基准。该数据集以DOTA格式提供定向边界框标注，涵盖五种车辆类别，为研究多模态融合模型在复杂退化环境下的性能边界提供了标准化测试平台，推动了鲁棒感知领域的方法论创新。

当前挑战

无人机车载检测需应对两大核心挑战：其一，现实部署中单一模态易因恶劣天气（如雾霾、雨雪）、传感器故障或光照剧变而失效，多模态融合虽能增强鲁棒性，但现有模型对非对称退化（如RGB受损而TIR完好）的适应性不足，亟需系统性基准以揭示模态间的补偿能力。其二，构建过程中需在保持原始标注一致性的前提下，精准模拟23种真实世界退化效应——从传感器噪声到完全信号丢失，同时确保退化参数（如噪声等级、模糊核大小）的量化和可复现性，这对退化模型的物理保真度与计算开销提出了平衡要求。此外，不同退化条件下RGB与TIR图像的空间对齐与标注兼容性，也是数据构建的关键技术难点。

常用场景

经典使用场景

DroneVehicle-C 数据集专为评估无人机视觉感知系统在多种环境干扰下的鲁棒性而设计，其经典使用场景聚焦于多模态融合（RGB与热红外）的车辆检测任务。研究人员利用该数据集模拟真实世界中无人机航拍图像可能遭遇的退化情形，包括RGB图像的高斯噪声、运动模糊、亮度偏移、低对比度乃至完全丢失，以及热红外图像的传感器噪声、模糊、强度偏移和完全丢失。通过在不同退化条件下测试模型性能，可以系统性地分析多模态融合策略在非理想环境中的表现瓶颈，从而推动更稳健的融合算法设计。该数据集包含24种不同退化条件，覆盖从轻微到极端的干扰强度，为无人机平台下的全天候、全场景车辆检测提供了标准化的鲁棒性基准测试平台。

解决学术问题

DroneVehicle-C 数据集解决了多模态融合模型在真实退化环境中鲁棒性评估缺乏标准化基准的学术难题。现有研究大多在高质量无退化图像上验证算法性能，忽视了传感器噪声、运动模糊、光照剧变等实际因素对融合效果的显著影响。该数据集通过精细设计23种退化条件以及完全丢失极端情况，使研究者能够量化分析不同模态信息缺失或失真时模型的性能衰减规律。这有助于揭示多模态融合机制中的脆弱环节，例如哪些退化类型会对检测精度造成最严重冲击，以及融合策略如何根据退化程度自适应调整模态权重。该数据集的提出推动了鲁棒性理论在无人机视觉领域的深入发展，为设计不确定性感知、模态可靠性估计等新型融合范式提供了关键实验基础。

衍生相关工作

DroneVehicle-C 数据集的发布催生了一系列鲁棒多模态融合研究工作的涌现。基于该基准，研究者提出了多种针对退化环境的创新方法，包括基于不确定性估计的自适应融合权重分配策略、利用生成对抗网络进行退化图像修复的前处理框架，以及设计模态间互注意力机制来动态抑制受干扰模态影响的网络结构。该数据集还被用于对比分析早期融合、中间融合与晚期融合在不同退化条件下的优劣，并衍生出针对单模态完全丢失情况下的极端鲁棒性研究课题。此外，该数据集与原始 DroneVehicle 数据集形成了完整的“干净+退化”对照评估体系，成为检验多模态车辆检测模型泛化能力和工程实用性的重要工具，推动了该领域从实验室理想条件向真实复杂场景迈进的学术进程。