UEMM-Air

UEMM-Air是由河海大学开发的多模态无人机对象检测数据集，专注于无人机视角下的复杂背景和小对象检测。该数据集通过虚幻引擎模拟多种飞行场景和对象类型，自动收集不同场景、视角和高度的数据，并采用新颖的启发式自动标注算法生成精确的对象检测标签。UEMM-Air包含5种模态，共计20000对图像，适用于城市监控和军事侦察等领域的模型训练和评估。UEMM-Air is a multimodal unmanned aerial vehicle (UAV) object detection dataset developed by Hohai University, focusing on complex background and small object detection from UAV perspectives. This dataset simulates various flight scenarios and object types using Unreal Engine, automatically collects data across different scenarios, viewpoints and altitudes, and generates accurate object detection labels with a novel heuristic automatic annotation algorithm. UEMM-Air includes 5 modalities and a total of 20,000 image pairs, which is suitable for model training and evaluation in fields such as urban surveillance and military reconnaissance.

搜集汇总

数据集介绍

构建方式

UEMM-Air数据集的构建主要依托于Unreal Engine和AirSim框架，通过模拟多种无人机飞行场景和目标类型，实现多模态图像数据的自动收集。首先，利用Unreal Engine创建多样化的场景，包括城市、公园、高速公路等，并通过CityBLD插件快速构建各种风格的城市。其次，通过Unreal Engine的运动动画模拟现实世界的动态场景，并利用其交通特性设计复杂的道路布局，生成各种车辆在虚拟环境中自动导航。最后，利用AirSim和Pygame构建无人机模拟器，控制无人机在Unreal Engine中飞行并拍摄照片，收集不同高度、场景和视角下的图像数据。此外，为了提高标注的准确性，提出了一种新的启发式自动标注算法，利用分割和深度图像中的语义和距离信息，避免对视觉上重叠的物体进行错误标注。

特点

UEMM-Air数据集具有多模态、多场景、多视角和细粒度标签的特点。首先，数据集包含5种模态：RGB图像、深度图像、分割图像、表面法线图像和无人机IMU参数，提供了丰富的多模态信息。其次，数据集涵盖了城市、公园、高速公路等多种场景，并且通过无人机在不同高度、视角下拍摄，实现了多视角数据的收集。此外，数据集提供了细粒度的标签，包括目标的类别、位置和姿态等信息，有利于各种类型的物体检测任务。

使用方法

UEMM-Air数据集可用于无人机物体检测、目标跟踪、场景理解等计算机视觉任务的研究和开发。首先，可以使用数据集中的多模态信息进行多模态物体检测，提高检测的准确性和鲁棒性。其次，可以利用数据集中的细粒度标签进行细粒度物体检测，识别更精细的目标类别。此外，还可以使用数据集中的无人机IMU参数进行目标跟踪，预测目标的运动轨迹。最后，可以利用数据集中的多场景和多视角数据进行场景理解，分析场景中的物体关系和交互。

背景与挑战

背景概述

UEMM-Air数据集的创建是为了应对多模态无人机目标检测中现有数据集的局限性，如模态数量有限、构建成本高昂和标注不准确等问题。该数据集由河海大学的研究团队于2024年提出，旨在为无人机视觉任务的研究提供更丰富的场景、更精确的标注和多模态信息。UEMM-Air数据集包含20k对图像，具有5种模态（可见光、深度、分割、表面法线和无人机IMU参数），以及细粒度和场景标签，有助于提升无人机目标检测模型的性能和泛化能力。

当前挑战

UEMM-Air数据集面临的挑战包括：1) 所解决的领域问题：现有无人机目标检测数据集大多为单模态，且数据量有限，难以满足多模态学习的研究需求。UEMM-Air数据集通过提供5种模态的多模态数据，旨在解决这一挑战，推动多模态无人机目标检测的研究。2) 构建过程中所遇到的挑战：UEMM-Air数据集的构建需要模拟多种无人机飞行场景和物体类型，并设计自动飞行逻辑以收集数据。同时，为了生成准确的标注，需要开发高效的自动标注算法。这些构建过程中的挑战需要研究团队具备专业的知识和技能，以及对无人机视觉任务的理解。

常用场景

经典使用场景

UEMM-Air 数据集作为一个合成多模态无人机对象检测数据集，其经典使用场景主要集中于无人机视角下的对象检测任务。该数据集模拟了多种无人机飞行场景和对象类型，并通过自动飞行逻辑收集了不同场景、视角和高度的数据。此外，UEMM-Air 还提供了一个新颖的启发式自动标注算法，能够生成精确的对象检测标签。因此，UEMM-Air 数据集在无人机对象检测领域具有广泛的应用价值。

实际应用

UEMM-Air 数据集在实际应用场景中具有广泛的应用价值。例如，在农业领域，无人机可以用于监测作物生长情况、病虫害防治等任务；在救援领域，无人机可以用于搜索失踪人员、评估灾情等任务。此外，UEMM-Air 数据集还可以应用于城市监控、军事侦察等领域。因此，UEMM-Air 数据集为无人机对象检测技术的实际应用提供了有力支持。

衍生相关工作

UEMM-Air 数据集的发布推动了无人机对象检测领域的研究进展。基于 UEMM-Air 数据集，研究人员可以进行多模态无人机对象检测模型的训练和评估，探索更精确、高效的对象检测算法。此外，UEMM-Air 数据集还可以为无人机对象检测技术的实际应用提供数据支持，推动无人机技术在各个领域的应用。