∼20 k real-world image dataset

该数据集由Dalle Molle Institute for Artificial Intelligence (IDSIA)创建，包含约20,000张图像，用于训练深度学习模型以实现微型无人机的门检测。图像采集于实验室环境，涵盖不同背景和光照条件，经过模拟器和现实世界的图像增强，以缩小模拟与现实之间的差距。数据集适用于无需地图的门到门视觉导航任务，旨在推动微型无人机在受限环境下的自主导航能力。

This dataset was developed by the Dalle Molle Institute for Artificial Intelligence (IDSIA), comprising approximately 20,000 images for training deep learning models to perform door detection on micro aerial vehicles. The images are captured in laboratory settings, covering diverse backgrounds and lighting conditions, and have undergone image augmentation using both simulated and real-world data to narrow the sim-to-real gap. This dataset is suitable for map-free door-to-door visual navigation tasks, aiming to advance the autonomous navigation capabilities of micro aerial vehicles in constrained environments.

搜集汇总

数据集介绍

构建方式

本数据集由Webots模拟器中收集的图像和实验室环境中收集的真实世界图像组成。Webots模拟器中收集的图像经过几何和摄影增强处理，以增加数据集的多样性。真实世界图像在实验室环境中通过OptiTrack运动捕捉系统收集，包括从不同高度和相对方向捕获的图像。数据集最终包含约20k张图像，用于训练、验证和测试深度学习模型。

特点

该数据集的特点在于它包含了在多种背景和光照条件下捕获的图像，以及不同角度和距离的图像。数据集的多样性有助于训练能够适应各种环境条件的深度学习模型。此外，数据集还包含了部分视图的图像，有助于模型学习在部分遮挡情况下检测门的位置。

使用方法

使用该数据集时，首先需要将图像分割成训练集、验证集和测试集。然后，使用深度学习模型对训练集进行训练，并在验证集上评估模型性能。最后，在测试集上测试模型的泛化能力。数据集可用于训练能够实时运行在小型无人机上的深度学习模型，以实现门到门的视觉导航。

背景与挑战

背景概述

随着自主纳米无人机的快速发展，这类轻巧的设备在无人机竞赛中开始崭露头角。这些纳米无人机在尺寸和重量上远小于传统的无人机，因此在计算能力和传感器方面存在严格限制。为了应对这些挑战，研究人员开发了基于深度学习的单目视觉伺服系统，该系统能够在有限的资源下实时运行，并精确地执行基于门的导航任务。这项研究工作在IEEE ICRA 2025上发表，由Lorenzo Scarciglia、Antonio Paolillo和Daniele Palossi共同完成，他们通过结合实时深度学习门检测前端和经典的视觉伺服控制后端，仅依靠机载资源，设计了一种无需地图的视觉导航系统。该系统在∼20 k真实世界图像数据集上实现了30 Hz的闭环控制性能，门检测均方根误差为1.4像素。

当前挑战

该数据集相关的挑战包括：1) 在有限的机载内存和计算能力下，实现高效和轻量级的视觉处理管道，以满足纳米无人机的性能需求；2) 在无先验环境知识的情况下，开发能够实时检测门并控制无人机导航的系统。此外，纳米无人机的硬件限制，如低分辨率单色相机和有限的内存预算，也增加了构建和部署系统的难度。

常用场景

经典使用场景

在IEEE ICRA 2025的论文中，该数据集被用于训练一个无需地图的深度学习视觉导航系统，该系统能够在有限的计算资源下，仅使用单目摄像头，实现门到门的自主导航。该系统结合了实时深度学习门检测前端和经典的视觉伺服控制后端，实现了在微型无人机上的高效运行。

解决学术问题

该数据集解决了微型无人机在自主导航任务中的计算资源限制问题。由于微型无人机的内存和计算能力比大型无人机低三个数量级，因此需要更加高效和轻量级的视觉处理流程。该数据集的训练结果展示了深度学习模型在单目摄像头上的高效运行，实现了在微型无人机上的实时导航。

衍生相关工作

该数据集衍生出的相关工作包括基于深度学习的无人机导航算法的研究，以及微型无人机在自主导航任务中的计算资源优化研究。这些研究进一步推动了无人机技术的发展，为无人机在各个领域的应用提供了新的可能性。