FRED: The Florence RGB-Event Drone Dataset

FRED数据集是一个用于无人机检测、跟踪和轨迹预测的多模态数据集，结合了RGB视频和事件流。数据集包含超过7小时的密集标注无人机轨迹，使用了5种不同的无人机模型，并包括雨和不良光照条件等具有挑战性的场景。该数据集旨在解决传统RGB相机在捕捉快速移动对象时的局限性，特别是对于小型、快速、轻量级的无人机。FRED数据集为无人机感知和多功能时空理解的研究提供了新的基准和资源。The FRED dataset is a multimodal dataset for unmanned aerial vehicle (UAV) detection, tracking and trajectory prediction, which integrates RGB videos and event streams. It contains over 7 hours of densely annotated UAV trajectories, utilizes 5 distinct UAV models, and encompasses challenging scenarios including rainy weather and poor lighting conditions. This dataset is designed to address the limitations of conventional RGB cameras when capturing fast-moving objects, particularly small, fast and lightweight UAVs. The FRED dataset offers a novel benchmark and resource for research on UAV perception and versatile spatiotemporal understanding.

原始信息汇总

FRED: The Florence RGB-Event Drone Dataset

作者信息

• Gabriele Magrini (MICC, University of Florence, Italy)
• Niccolò Marini (MICC, University of Florence, Italy)
• Federico Becattini (University of Siena, Italy)
• Lorenzo Berlincioni (MICC, University of Florence, Italy)
• Niccolò Biondi (MICC, University of Florence, Italy)
• Pietro Pala (MICC, University of Florence, Italy)
• Alberto Del Bimbo (MICC, University of Florence, Italy)

数据集概述

• 名称：Florence RGB-Event Drone Dataset (FRED)
• 类型：多模态数据集（RGB视频 + 事件流）
• 用途：无人机检测、跟踪和轨迹预测
• 特点：
  • 超过7小时的密集标注无人机轨迹
  • 包含5种不同无人机模型
  • 涵盖挑战性场景（如雨天和不利光照条件）

数据集优势

• 针对高速运动物体捕获的局限性（传统RGB相机）
• 事件相机提供高时间分辨率和动态范围
• 填补现有基准测试在精细时间分辨率和无人机特定运动模式方面的不足

评估信息

• 提供详细的评估协议
• 包含每项任务的标准指标
• 支持可复现的基准测试

相关链接

• 论文代码：https://miccunifi.github.io/FRED/
• arXiv：https://miccunifi.github.io/FRED/
• 数据集：https://miccunifi.github.io/FRED/

搜集汇总

数据集介绍

构建方式

FRED数据集通过高分辨率RGB相机和事件相机的双摄像头同步设置构建，采用软件与手工校正相结合的方式实现时空同步。RGB相机固定为30帧每秒，事件相机则提供任意精确的帧生成，确保两种模态数据在时间和空间上的对齐。数据集包含超过7小时的密集标注无人机轨迹，涵盖5种不同型号的无人机，并在多种挑战性场景下进行录制，如雨天和不良光照条件。

特点

FRED数据集是目前最大的无人机检测数据集，具有高分辨率（1280x720 HD）和多模态（RGB与事件流）特性。其独特之处在于包含了多样化的挑战性场景，如夜间飞行、雨天及存在干扰物（如昆虫）的环境。此外，数据集首次提供了无人机跟踪和轨迹预测的基准，支持灵活的多模态监督，为高速无人机感知研究提供了丰富的数据基础。

使用方法

FRED数据集支持多种任务，包括无人机检测、跟踪和轨迹预测。用户可以根据需要选择单一模态（RGB或事件流）或两者的融合作为输入。数据集提供了详细的评估协议和标准指标（如mAP、MOTA、ADE/FDE等），便于进行可重复的基准测试。此外，数据集分为标准分割和挑战性分割，用户可根据研究需求选择合适的数据子集，以测试模型在不同场景下的泛化能力。

背景与挑战

背景概述

FRED（The Florence RGB-Event Drone Dataset）是由佛罗伦萨大学的研究团队于2025年提出的一个多模态无人机感知数据集，旨在解决高速无人机检测、跟踪与轨迹预测中的关键问题。该数据集由Gabriele Magrini等学者主导开发，结合了RGB视频与事件流数据，包含超过7小时的高分辨率（1280×720）标注数据，涵盖5种不同型号的无人机及多种复杂场景（如雨天、低光照等）。FRED的推出填补了现有数据集中缺乏时空同步多模态数据与无人机特异性运动模式的空白，为计算机视觉与神经形态视觉领域的研究提供了重要基准。

当前挑战

FRED数据集针对的领域挑战包括：1）高速无人机在复杂环境下的精准检测与跟踪，传统RGB相机因运动模糊与低动态范围难以应对；2）多模态数据（事件流与RGB）的时空对齐与融合，需解决传感器异构性与采样频率差异问题。构建过程中的挑战包括：1）无人机快速机动导致的事件数据稀疏性与标注困难；2）复杂场景（如雨滴、昆虫干扰）对事件相机噪声抑制的要求；3）多无人机交互场景下轨迹预测的时序建模复杂度。这些挑战推动了新型检测算法与跨模态融合方法的发展。

常用场景

经典使用场景

FRED数据集在无人机感知领域具有广泛的应用价值，尤其在高速运动目标检测与跟踪方面表现突出。该数据集结合了RGB视频和事件流数据，为研究者在复杂光照条件和动态场景下的无人机检测提供了丰富的实验素材。其高时间分辨率和动态范围特性使得FRED成为评估新型检测算法的理想平台，特别是在处理快速移动的小型无人机时展现出显著优势。

衍生相关工作

围绕FRED数据集已衍生出多项创新性研究，包括基于YOLO和DETR架构的多模态检测系统、事件数据增强的跟踪算法，以及结合CNN与Transformer的轨迹预测模型。这些工作不仅验证了数据集的实用价值，还推动了神经形态视觉与常规计算机视觉的融合研究，为后续更复杂的时空分析任务提供了方法论参考。

数据集最近研究

最新研究方向

随着无人机技术的快速发展，其在安防监控、物流配送等领域的应用日益广泛，但高速移动和小型化的特性给传统RGB摄像头的检测与跟踪带来了巨大挑战。FRED数据集作为首个融合RGB视频与事件流的多模态无人机专用数据集，为这一领域的研究提供了重要突破。该数据集不仅包含了7小时以上的高分辨率同步数据，还涵盖了雨天、低光照等复杂场景，为多模态感知算法的鲁棒性测试提供了丰富素材。当前研究热点集中在三个方面：基于事件流的高速目标检测算法优化，通过事件相机的高时间分辨率特性解决运动模糊问题；多模态数据融合策略探索，结合RGB的纹理信息与事件流的运动信息提升检测精度；以及无人机轨迹预测模型的开发，利用事件数据的连续特性实现更精准的运动状态估计。这些研究方向对于实现全天候、高精度的无人机监控系统具有重要价值，尤其在边境巡逻、机场安防等关键领域展现出广阔应用前景。

相关研究论文

• FRED: The Florence RGB-Event Drone Dataset

  佛罗伦萨大学 · 2025年