AU-DR (Autonomous UAV Drone Racing)

AU-DR（自主无人机竞速）是一个公开数据集，使用鱼眼相机在室内环境中采集，包含30,204张160x120像素的图像，涵盖单门、多门、遮挡门、部分可见门、远距离布局和近距离门等多种无人机竞速场景，标注信息包括边界框、中心坐标、距离和偏航角。

AU-DR (Autonomous Drone Racing) is a public dataset collected using a fisheye camera in indoor environments. It contains 30,204 images with a resolution of 160×120 pixels, covering various drone racing scenarios including single gate, multiple gates, occluded gates, partially visible gates, long-distance gate layouts and close-range gates. Its annotation information includes bounding boxes, center coordinates, distances and yaw angles.

原始信息汇总

数据集概述：AU-DR (Autonomous UAV Drone Racing)

该数据集用于训练GateNet模型，旨在让无人机在自主竞速中实时检测并估算赛门（gate）的中心、距离和偏航角。数据集由公开的AU-DR提供，包含30,204张使用鱼眼相机在室内环境拍摄的图像。

核心信息

• 图像总数：30,204张
• 图像尺寸：160 × 120 像素
• 图像格式：RGB
• 标注格式：JSON文件 (annotations.json)
• 数据划分：
  • 训练集（实际使用）：约21,747张（来自训练索引文件的90%）
  • 验证集：约2,416张（来自训练索引文件的10%，不参与训练）
  • 测试集：约6,041张（来自测试索引文件，最终一次性评估）
• 标注内容：每张图像包含一个或多个赛门，标注字段包括：
  • center_x, center_y：赛门中心坐标（像素，基于160×120坐标系）
  • xmin, ymin, xmax, ymax：边界框坐标（像素）
  • distance：无人机与赛门的距离（米，最大10米）
  • yaw_relative：相对偏航角（弧度，范围约 ±π）
  • type：场景类型（如 single, multiple 等）

场景类型

数据集涵盖6种无人机竞速中的实际场景：

场景	描述
Single gate	画面中只有一个清晰赛门
Multiple gates	画面中同时出现多个赛门
Occluded gates	赛门被其他物体部分遮挡
Partially observable	赛门仅部分出现在画面边缘
Distant layout	赛门距离较远，在画面中尺寸很小
Close-range gates	赛门非常靠近相机，尺寸很大

数据集结构

数据集文件夹结构如下：

au_dr/ ├── images/ # 30,204张RGB图像（160×120） ├── annotations.json # 所有图像的标注文件 ├── train-indices.npy # 训练集索引（约80%） └── test-indices.npy # 测试集索引（约20%）

• 注意：.npy文件中的索引对应annotations.json中annotations数组的索引，并非图像文件名。
• 下载链接：https://drive.google.com/file/d/1tkLJri7lnPIcUq93XHbT8sByT6V3ynA2/view?usp=sharing

模型与性能

模型采用了名为GateNetTiny的轻量级CNN架构，输入160×120像素的RGB图像，输出一个3×4×5的网格，每个网格单元预测置信度、中心偏移、距离和偏航角。

在测试集（约6,041张图像）上的评估结果如下：

• 检测能力：
  • 精确率 (Precision)：81.24%
  • 召回率 (Recall)：98.57%
  • F1分数：89.07%
  • 准确率 (Accuracy)：96.63%
• 回归能力（平均绝对误差MAE）：
  • 中心点偏移 (center_euclidean_px)：3.38 像素
  • 距离误差 (distance_m)：0.44 米
  • 偏航角误差 (yaw_rad)：0.141 弧度（约8.1°）

相关参考资料

• 原始论文："GateNet: An Efficient Deep Neural Network Architecture for Gate Perception Using Fish-Eye Camera in Autonomous Drone Racing" (IEEE ICRA 2021)
• 原始代码仓库：https://github.com/open-airlab/GateNet
• 项目代码仓库：https://github.com/HoangAnh301194/Gate_detection_AU_DR_DATASET

搜集汇总

数据集介绍

构建方式

AU-DR（Autonomous UAV Drone Racing）数据集由越南邮电技术学院团队基于室内无人机竞速场景采集构建，采用鱼眼相机拍摄，共包含30,204张分辨率为160×120的RGB图像。数据集精心设计了六类典型竞速情境，包括单门、多门、部分遮挡、边缘可见、远距离及近距离门框，并提供了JSON格式的详细标注，涵盖门框中心坐标、边界框、无人机与门框的真实距离及偏航角等信息。数据集按照80%/20%的比例划分为训练集与测试集，其中训练集进一步分出10%作为验证集，确保模型评估的严谨性。

特点

该数据集的核心价值在于其高度贴近真实无人机竞速任务的挑战性设计。图像均从鱼眼相机获取，模拟了无人机高速飞行中的视觉畸变与复杂光照条件，同时注入了门框遮挡、多目标共存、远小近大等多种复杂场景，全面考验模型的鲁棒性。标注信息不仅包含传统的2D边框，更提供了连续的距离与角度真值，使得模型能够同时学习目标检测与位姿回归双重任务。此外，数据集规模适中且公开可获取，为学术界在轻量化无人机感知算法的研究提供了标准化的基准。

使用方法

数据集的使用依托于配套的GateNetTiny轻量级卷积神经网络框架，整套流程基于PyTorch实现并适配Google Colab环境。用户可直接加载预划分的索引文件与JSON标注，构建训练、验证及测试数据加载器。模型以160×120的RGB图像为输入，输出为3×4网格的预测向量，每个网格单元解码出门框中心偏移量、置信度、归一化距离及偏航角。训练过程采用多任务损失函数，并提供了实时的像素误差、距离误差等评估指标。此外，项目附带了离线推理脚本，支持对单张图像或文件夹进行门框检测与位姿可视化。

背景与挑战

背景概述

AU-DR（自主无人机竞速）数据集由越南邮政与电信技术研究院（PTIT）的Nguyễn Hữu Hoàng Anh等人在2024年基于GateNet研究创建，旨在解决自主无人机竞速中实时识别竞速门（racing gate）的核心问题。该领域要求模型在无人机有限的计算资源上兼顾轻量与精度，能够从鱼眼摄像头图像中估测竞速门的中心位置、距离与偏航角。AU-DR包含30,204张160×120像素的室内图像，覆盖单门、多门、遮挡门、部分可见门、远距布局与近距门六种真实竞速场景，为无人机自主导航与路径规划提供了标准化基准。数据集基于GateNet架构（ICRA 2021），对推动嵌入式视觉感知与无人机竞技领域的交叉研究具有重要影响力。

当前挑战

AU-DR数据集面临的核心挑战包括：1) 领域任务挑战：无人机竞速需在高速运动中实时处理图像，但鱼眼镜头带来的图像畸变严重干扰了位置与角度的精确估计，尤其是偏航角（yaw）和距离（distance）回归误差较大（MAE分别为0.141 rad和0.44 m），且多门与遮挡场景增加了检测歧义性。2) 构建过程挑战：数据集标注依赖手动或半自动方式，部分图像中门中心存在标注偏移，导致模型学习偏差；训练集与测试集场景分布不均，模型难以泛化到未覆盖的复杂距离与角度组合。此外，仅采用光度增强（亮度/对比度、模糊、噪声）而未结合几何变换（如翻转、旋转），限制了模型应对视角变化的鲁棒性。

常用场景

经典使用场景

AU-DR数据集专为自主无人机竞速中的实时门框感知任务而设计，其核心应用场景涵盖单门框、多门框、部分遮挡、远距离及近距离等多种复杂赛道环境。该数据集包含30204张160×120像素的鱼眼图像，每张图像均标注了门框中心坐标、边界框、无人机相对距离和偏航角。研究者可利用该数据集训练轻量级卷积神经网络模型，在资源受限的嵌入式平台上实现门框的实时检测与位姿估计，典型模型在测试集上达成了96.63%的检测准确率和3.38像素的中心定位误差。

解决学术问题

该数据集系统解决了自主无人机竞速中门框感知的多项关键学术难题：首先，它提供了包含六种典型竞速场景的大规模标注数据集，弥补了该领域缺乏统一基准的空白；其次，数据集标注了距离和偏航角等连续回归量，使研究得以从单纯的目标检测拓展至完整的六自由度位姿估计；此外，鱼眼图像的畸变特性为几何校正和域适应研究提供了挑战。该数据集的发布推动了轻量化神经网络在高速动态环境下的感知精度与实时性平衡研究，其公开性促进了可重复性科学的发展。

衍生相关工作

AU-DR数据集衍生了一系列重要的学术工作，其中最经典的是GateNet架构的提出与演进。原始GateNet工作（ICRA 2021）基于该数据集设计了一种仅有6个卷积块的浅层CNN，通过网格化输出实现门框中心、距离和偏航角的联合预测。后续工作在此基础上探索了多种改进方向：包括引入注意力机制增强特征提取、采用几何数据增强策略提升泛化能力、以及结合扩展卡尔曼滤波进行多帧位姿平滑。此外，该数据集还被用于对比研究不同轻量化架构（MobileNet、ShuffleNet）在无人机感知任务中的表现。