AE-UAV
收藏资源简介：
AE-UAV是第一个空对空基于事件的无人机跟踪基准数据集，包含178个飞行序列，具有连续时间三次B样条注释，支持任意时间分辨率评估。数据集包含超过81.5亿个事件，分辨率为1280×720，并辅以同步的RGB和热红外图像。
AE-UAV is the first air-to-air event-based unmanned aerial vehicle (UAV) tracking benchmark dataset. It includes 178 flight sequences annotated with continuous-time cubic B-splines, and supports arbitrary time-resolution evaluation. The dataset features over 8.15 billion events with a resolution of 1280×720, and is paired with synchronized RGB and thermal infrared imagery.
数据集概述
AE-UAV 是一个面向空对空（A2A）无人机跟踪的首个机载事件相机数据集，由论文《AE-UAV: An Air-to-Air Event-Based UAV Tracking Benchmark and a Real-Time Frequency-Domain Tracker》提出。该数据集包含178个飞行序列，并采用连续时间三次B样条标注，提供C²连续的物体轨迹，支持在任意时间分辨率下进行评估。
核心特性
- 首个空对空事件相机跟踪基准：数据由空中观测平台捕获，而非地面-空中视角。
- 规模：178个序列，总时长约2,140秒，事件总数超过81.5亿，分辨率为1280×720。
- 连续时间标注：基于稀疏关键帧标注和三次B样条插值构建连续轨迹，事件级标签精度可达微秒级。
- 多模态辅助数据：同步提供RGB图像（1920×1080）和热红外图像（640×512）。
- 场景多样性：涵盖不同运动几何（追击、躲避、迎面）、光照条件（日光、背光、夜间）及轨迹模式。
数据集基本信息
| 属性 | 数值 |
|---|---|
| 序列数 | 178 |
| 总时长 | ≈ 2,140秒 |
| 总事件数 | > 81.5亿 |
| 目标事件数 | 3,120万（占总事件0.38%） |
| 事件分辨率 | 1280 × 720 |
| 标注方式 | 累积帧关键帧 + 三次B样条连续轨迹（事件级标签） |
| 辅助模态 | RGB（1920×1080）、热红外（640×512） |
| 数据集划分 | 训练集125 / 验证集18 / 测试集35 |
采集系统
- 观测平台：大疆Matrice 300 RTK，搭载Prophesee EVK4 HD事件相机（1280×720，12mm定焦镜头）和大疆Zenmuse H20T云台（提供RGB和热红外图像）。
- 目标平台：大疆Mavic 3T。
- 机间距离：15米至100米，目标尺度从点状信号到详细结构。
- 辅助数据：IMU以200 Hz记录六轴运动。
数据集结构
AE-UAV/ ├─ 0709-193513/ # 一个完整飞行会话，命名格式为MMDD-HHMMSS │ └─ 2025-07-09-19-35-13-1430-1445(110-190)/ # 一个数据记录（序列） │ ├─ *.h5 # 带标签的原始事件流（事件级标签） │ ├─ *_interpolation_functions.pkl # 拟合的三次B样条轨迹（可查询任意时刻的边界框） │ └─ *.txt # 手动标注的稀疏关键帧边界框 ├─ ... ├─ train_dataset.txt # 训练集划分 ├─ val_dataset.txt # 验证集划分 └─ test_dataset.txt # 测试集划分
文件格式
| 文件 | 内容 |
|---|---|
*.h5 |
带标签的原始事件流，每个事件包含二进制目标/背景标签。 |
*_interpolation_functions.pkl |
拟合的连续三次B样条轨迹，可在任意时刻查询边界框 B(t) = (cx, cy, w, h)。 |
*.txt |
稀疏关键帧标注，在累积事件帧上人工标注的边界框。 |
连续时间标注流程
- 稀疏关键帧标注：人工在稀疏关键帧时刻的累积事件帧上标注边界框，得到N个观测点 {(t_i, b_i)}。
- 三次B样条插值：对边界框的每个参数（cx, cy, w, h）分别拟合三次B样条曲线，通过正则化最小二乘法（曲率惩罚λ=0.001）保证C²连续性（平滑的位置、速度和加速度）。
- 事件级标签：根据拟合轨迹B(t)，为每个事件ek = (xk, yk, tk, pk)分配二进制标签，判断其是否位于目标区域内。
该流程同时输出帧级标注（用于传统基于帧的跟踪器）和事件级标签（用于微秒级时间分辨率的跟踪方法）。
论文引用
bibtex @article{jiang2026aeuav, title = {AE-UAV: An Air-to-Air Event-Based UAV Tracking Benchmark and a Real-Time Frequency-Domain Tracker}, author = {Jiang, Zixin and He, Bing and Xiong, Chaoran and Wang, Zhenzhen and Zhao, Xin and Pei, Ling}, journal = {arXiv preprint arXiv:2607.14726}, year = {2026} }
许可协议
该项目采用 MIT License 发布。
