MSDrone

MSDrone是一个用于无人机视角可见光-红外双模态车辆检测和鲁棒性研究的数据集，包含6167张图像和对应的YOLO格式标签，按距离从0-10米到90-100米进行分组。MSDrone is a dataset dedicated to vehicle detection and robustness research with visible-infrared bimodal images captured from drone perspectives. It comprises 6167 images and their corresponding labels in YOLO format, and the samples are grouped by distance intervals ranging from 0-10 meters to 90-100 meters.

原始信息汇总

MSDrone 数据集概述

MSDrone 是一个面向无人机视角的车辆检测数据集，专为双模态（可见光-红外）感知与对抗鲁棒性研究而设计。该数据集与论文 CDUPatch: Color-Driven Universal Adversarial Patch Attack for Dual-Modal Visible-Infrared Detectors 相关，用于跨模态设置、距离变化和尺度变化下的目标检测与对抗补丁攻击研究。

数据集内容

• 文件构成：共包含 6,167 张 .jpg 图像和 6,167 个 YOLO 格式的 .txt 标签文件，总计 12,334 个数据文件。
• 模态标记：可见光图像以 _vis_ 标记，红外图像以 _inf_ 标记。
• 距离分组：数据按距离划分为 0-10m 至 90-100m 共 10 个子集，每个距离子集包含 image/ 和 label/ 文件夹。
• 距离子集文件数：各距离区间图像与标签数量一致，具体分布为：
  • 0-10m：110 张
  • 10-20m：555 张
  • 20-30m：554 张
  • 30-40m：743 张
  • 40-50m：850 张
  • 50-60m：751 张
  • 60-70m：769 张
  • 70-80m：673 张
  • 80-90m：628 张
  • 90-100m：534 张

下载方式

数据集以 GitHub Release 资产形式分发，因文件超过普通 Git 限制。需从以下地址下载所有资产：

• 最新 Release 页面
  • MSDrone.zip.part-aa
  • MSDrone.zip.part-ab
  • checksums-sha256.txt

下载后可通过 cat MSDrone.zip.part-* > MSDrone.zip 合并，并使用 SHA-256 校验。也可运行 bash scripts/assemble_dataset.sh 脚本完成组装。

标签格式

标签采用 YOLO 文本格式：

text class_id x_center y_center width height

其中坐标均已根据图像宽高归一化。

引用

若在相关工作中使用 MSDrone，请引用以下文献：

bibtex @inproceedings{long2025cdupatch, title={Cdupatch: Color-driven universal adversarial patch attack for dual-modal visible-infrared detectors}, author={Long, Jiahuan and Yao, Wen and Jiang, Tingsong and Hou, Jiacheng and Jia, Shuai and Wu, Junqi and Zhang, Xiaoya and Zheng, Xiaohu and Ma, Chao}, booktitle={Proceedings of the 33rd ACM International Conference on Multimedia (ACM MM)}, year={2025} }

许可证

当前数据集尚未提供独立的许可证文件，公开再分发前需添加或确认许可证。

搜集汇总

数据集介绍

构建方式

MSDrone数据集源自无人机视角下的车辆检测研究，致力于双模态可见光-红外感知与对抗鲁棒性探索。该数据集的构建基于跨模态可见光/红外成像原理，通过无人机在不同距离区间（从0-10米至90-100米）采集车辆目标图像，每个样本均配准对应的可见光与红外图像对，并以YOLO格式标注边界框。数据集共包含6,167幅JPEG图像及同等数量的标签文件，按距离划分为十个子集，每个子集内分别存放图像与标签，确保样本在尺度、视角、背景复杂度及目标外观上呈现显著梯度，为评估跨模态检测器及对抗攻击的效能提供了系统性的数据支撑。

特点

MSDrone数据集的核心特点在于其强烈的尺度变化、视角多样性、背景杂波以及目标外观随距离的显著差异，这使其区别于常规地面视角数据集，更贴近真实无人机侦察场景。尤为突出的是，该数据集支持可见光与红外双模态对照研究，每幅可见光图像均有对应的红外图像，为探索颜色驱动的通用对抗补丁在跨模态条件下的迁移有效性提供了独特基础。此外，数据集的精细距离分箱设计（每10米一个区间）使研究者能够量化分析距离因素对检测性能及对抗鲁棒性的影响，从而推动双模态检测系统在实际复杂环境中的适应性优化。

使用方法

使用者需从GitHub Release页面下载数据集压缩包的分卷文件，通过拼接命令（如cat MSDrone.zip.part-* > MSDrone.zip）重组完整归档，并利用SHA-256校验和验证数据完整性。解压后，数据按距离区间组织为image/与label/目录，其中图像文件以“_vis_”和“_inf_”后缀区分可见光与红外模态。标签文件遵循YOLO格式，涵盖类别ID、归一化的边界框中心坐标及宽高。该数据集可直接用于训练双模态目标检测模型或评估对抗补丁攻击效果，建议结合论文CDUPatch中的实验设定以复现相关结果，并引用相应文献以支持学术研究。

背景与挑战

背景概述

MSDrone数据集由Jiahuan Long等人于2025年创建，旨在支持无人机视角下双模态可见光-红外车辆检测及对抗鲁棒性研究。该数据集源于ACM MM 2025论文《CDUPatch: Color-Driven Universal Adversarial Patch Attack for Dual-Modal Visible-Infrared Detectors》，核心研究问题聚焦于跨模态场景下通用对抗补丁的有效性，以及距离变化、尺度变化对检测器性能的影响。数据集包含6167对可见光和红外图像，按距离从0-10米至90-100米划分为十个子集，为评估双模态检测系统的鲁棒性提供了宝贵资源，推动了无人机视觉感知及对抗攻击领域的发展。

当前挑战

MSDrone数据集面临的挑战首先源于领域问题的复杂性：无人机视角带来显著的尺度变化、视角变化、背景杂波和目标外观随距离的剧烈变化，这对可见光-红外双模态检测器的性能与鲁棒性构成了严峻考验。此外，构建过程中亦面临多重困难：采集同步的可见光和红外图像需精密的硬件与校准流程，以确保模态间时空对齐；数据标注需在视角多变和远距离小目标的条件下保持准确性，耗时且易出错；数据集规模庞大，需通过分卷压缩和校验和确保传输完整性。这些挑战共同塑造了MSDrone在双模态检测研究中的独特价值与实用性。

常用场景

经典使用场景

MSDrone数据集以其独特的无人机视角、双模态可见光-红外图像以及距离分桶特性，成为多模态感知与对抗鲁棒性研究的核心基准。该数据集特别适用于训练和评估跨模态目标检测模型，尤其是在可见光与红外信息融合的场景下，研究者可基于其距离标注（0-10m至90-100m）系统性地分析检测性能随距离变化的情况。同时，其规模化的标注文件支持YOLO格式，便于直接应用于主流检测框架，用于研究尺度变化、视角变化和背景杂波下的车辆检测问题。

解决学术问题

该数据集有效解决了无人机视角下车辆检测面临的多尺度、多视角和跨模态挑战，为学术界提供了一个系统评估可见光-红外双模态检测器鲁棒性的标准化平台。它首次公开了距离分桶的配对可见光-红外图像，使研究者能够量化分析距离变化对检测精度的具体影响，并探索跨模态特征对齐与融合的优化策略。此外，该数据集支持对抗性补丁攻击的研究，特别是色彩驱动的通用对抗补丁（CDUPatch），推动了视觉-红外系统鲁棒性评估的理论与方法发展，具有重要的学术意义。

衍生相关工作

MSDrone数据集的发布催生了多项衍生研究，主要集中在跨模态感知与对抗机器学习交叉领域。其关联论文CDUPatch（ACM MM 2025）提出了色彩驱动的通用对抗补丁攻击方法，验证了跨模态对抗样本的可迁移性。后续工作可能包括基于该数据集的一致性正则化技术、跨模态特征解耦方法，以及鲁棒性增强的检测架构设计。此外，距离分桶的元数据为距离感知的模型评估与校准提供了新视角，可能激励更多关于尺度不变特征学习的研究，进而推动可见光-红外融合检测的理论创新与性能提升。