RFVS

RFVS是一个同步多传感器框架和数据集，集成了视觉图像（RGB）和射频（RF）信号，用于鲁棒、远程和微型无人机（UAV）检测。该数据集在复杂的现实环境中构建，提供了八个商业无人机类别的2,531个视觉边界框，与原始宽带I/Q信号在帧级别对齐。

RFVS is a synchronous multi-sensor framework and dataset that integrates visual (RGB) imagery and radio frequency (RF) signals for robust, long-range and miniature unmanned aerial vehicle (UAV) detection. Constructed in complex real-world environments, this dataset provides 2,531 visual bounding boxes across eight commercial UAV categories, which are frame-level aligned with the original broadband I/Q signals.

原始信息汇总

RFVS 数据集概述

数据集基本信息

• 数据集名称：RFVS (A Synchronized Multimodal RF-Vision Dataset for Tiny and Fine-grained Model UAV Detection)
• 核心目标：提供一个同步的多传感器（视觉图像与射频信号）数据集，用于实现鲁棒、远距离、微小无人机（UAV）的检测与细粒度分类。
• 数据模态：同步的视觉图像（RGB）与射频（RF）信号。
• 数据规模：包含 2,531 个视觉边界框标注。
• 类别数量：涵盖 8 种商业无人机类别（例如 DJI Air 3, DJI Mavic 3 Pro, DJI Matrice 4E）。

数据集内容与结构

数据集文件结构如下：

RFVS/ ├── dataset/ │ ├── images/ # 同步的视觉图像（RGB） │ ├── labels/ # 空间边界框标签（YOLO格式） │ ├── labels-class/ # 细粒度无人机类别标签 │ └── RF_raw/ # 原始宽带射频 I/Q 采样数据（.bin格式）

• 视觉数据：同步的 RGB 图像及其对应的边界框标注。
• 射频数据：原始宽带射频 I/Q 信号，采样率为 153.6 MHz。

数据采集与特点

• 采集环境：在复杂的真实世界环境中采集，包括山区、建筑物和开阔天空背景。
• 同步性：视觉图像与射频信号在帧级别严格对齐。
• 主要挑战应对：旨在解决单传感器方法在远距离视觉纹理缺失和射频信号缺乏空间坐标方面的局限性。

数据获取与准备

• 下载地址：完整数据集托管于 Google Drive。
  • 下载链接：https://drive.google.com/file/d/1ANz2rfjkWlMiWKkTb31dbqQhCApGPFtK/view?usp=drive_link
• 准备工作：下载后，需将数据集解压至代码仓库根目录，以确保 dataset/ 文件夹结构与上述描述一致。

数据处理与评估

• RF数据预处理：需使用 MATLAB 脚本 iq_to_stft.m 将原始二进制 I/Q 信号通过短时傅里叶变换（STFT）转换为二维时频谱图。参数包括汉明窗（长度1024，重叠512样本，FFT点数1024）。
• 模型评估：提供 Python 脚本 eval.py 用于评估纯视觉检测模型及视觉-射频融合模型。
  • 融合策略：支持“1-Class Det + RF-Replace”策略，包括硬替换和基于置信度的 RF-Gate 机制。
  • RF否决机制：若射频分支未检测到无人机信号，则丢弃视觉边界框以抑制背景误报。
  • 评估指标：采用定制的 COCO 评估指标，使用归一化的相对对角线长度度量来计算不同尺度下的精度。

使用许可

• 数据集及附带代码均基于 MIT 许可证发布。

引用

如使用本数据集或评估框架，请引用相关论文（模板已提供）。

搜集汇总

数据集介绍

构建方式

在无人机安全监测领域，单一传感器常因远距离纹理缺失或空间坐标不足而难以兼顾定位与分类。RFVS数据集通过严格同步的视觉与射频传感平台，在复杂真实环境中采集数据，涵盖八种商用无人机类别。其构建过程涉及双光学与射频采集设备的刚性集成，采集了2531个视觉边界框，并与帧级对齐的原始宽带I/Q信号配对，形成了多模态协同基准。

特点

RFVS数据集的核心特点在于其严格同步的多模态架构，将视觉图像与射频信号深度融合，以应对微小无人机在远距离下的检测挑战。数据集提供了丰富的标注信息，包括YOLO格式的空间边界框和细粒度类别标签，并辅以原始宽带I/Q采样数据。其任务解耦策略将空间检测委托给视觉分支，细粒度分类交由射频分支，有效减少了特征干扰，显著提升了检测精度，并将背景误报率降至零。

使用方法

使用RFVS数据集时，需先通过MATLAB脚本将原始射频I/Q数据转换为二维时频谱图，以便输入卷积或视觉Transformer模型。随后，利用提供的Python评估脚本，可实施硬替换或置信度门控等融合机制，并应用射频否决逻辑以抑制误报。该脚本还支持定制化的COCO评估指标，通过归一化相对对角线长度替代绝对像素面积，从而精确衡量微小目标的检测性能。

背景与挑战

背景概述

随着低空、慢速、小型无人机（UAV）的广泛应用，其未经授权的入侵行为构成了严峻的安全威胁。传统单传感器检测方法在远距离与复杂环境下，常因视觉纹理缺失或射频信号空间信息不足而难以兼顾精准定位与细粒度分类。为此，研究团队于2026年推出了RFVS数据集，该数据集通过严格同步的视觉与射频传感平台，在山区、建筑群及开阔天空等多变场景中采集数据，涵盖八类商用无人机型号，旨在为多模态协同感知研究提供基准支持，推动无人机检测技术向更鲁棒、长距离及细粒度方向演进。

当前挑战

RFVS数据集致力于解决无人机检测领域的两大核心挑战：一是如何在远距离、小目标条件下实现高精度空间定位与细粒度分类的协同优化；二是如何有效融合异质模态数据以抑制特征干扰与背景误报。在构建过程中，研究团队面临同步采集系统的硬件集成难题，需确保视觉图像与宽带射频I/Q信号在帧级别严格对齐；同时，处理高达153.6 MHz采样率的原始射频信号对存储与计算资源提出了极高要求，而复杂真实环境下的数据标注亦需克服目标微小、类别相似等困难。

常用场景

经典使用场景

在无人机检测与安全监控领域，RFVS数据集为多模态感知研究提供了关键支撑。该数据集通过严格同步的视觉图像与射频信号，构建了一个涵盖复杂真实环境的基准测试平台。其经典使用场景聚焦于远距离、微小无人机的鲁棒检测与细粒度分类任务，研究者可基于此开展视觉与射频数据的融合算法验证，特别是在纹理缺失或信号干扰条件下，评估模型的空间定位与类别识别性能。

解决学术问题

RFVS数据集有效应对了单一传感器在无人机检测中的固有局限。视觉传感器在远距离下因纹理缺失导致识别困难，而射频信号则缺乏空间坐标信息。该数据集通过多模态同步采集，解决了同时实现高精度空间定位与细粒度分类的学术挑战。其提出的任务解耦策略，将检测与分类任务分别委派给视觉与射频分支，显著降低了特征干扰，为多模态融合理论提供了实证基础，并推动了微小目标检测领域的度量标准革新。

衍生相关工作

围绕RFVS数据集，已衍生出一系列经典研究工作。其提出的“1-Class Det + RF-Replace”融合架构启发了多模态任务解耦的新范式，后续研究在此基础上探索了更复杂的信心门控与射频否决机制。该数据集定制的基于相对对角线长度的COCO评估指标，推动了微小目标检测评估标准的精细化发展。此外，其同步多模态数据格式也为跨模态表征学习、域自适应以及鲁棒性增强等方向提供了宝贵的基准资源。