UAV-ON

UAV-ON 是一个大规模的空中物体目标导航数据集，用于评估无人机在开放世界环境中的自主导航能力。数据集包含了14个高保真度的Unreal Engine环境，这些环境具有多样化的语义区域和复杂的空间布局，涵盖了城市、自然和混合使用场景。数据集定义了1270个带有注释的目标对象，每个对象都有一个实例级别的指令，包含类别、物理足迹和视觉描述符，允许进行接地推理。这些指令作为语义目标，为空中代理引入了真实的模糊性和复杂的推理挑战。数据集和代码可以在提供的链接中获取。UAV-ON is a large-scale aerial object navigation dataset designed to evaluate the autonomous navigation capabilities of unmanned aerial vehicles (UAVs) in open-world environments. The dataset includes 14 high-fidelity Unreal Engine environments, which feature diverse semantic regions and complex spatial layouts, covering urban, natural, and mixed-use scenarios. It defines 1270 annotated target objects, each paired with instance-level instructions that encompass category, physical footprint, and visual descriptors, enabling grounded reasoning. These instructions serve as semantic goals, introducing realistic ambiguities and complex reasoning challenges for aerial agents. The dataset and accompanying code are accessible via the provided link.

原始信息汇总

UAV-ON 数据集概述

数据集简介

• 名称: UAV-ON: A Benchmark for Open-World Object Goal Navigation with Aerial Agents
• 目标: 促进空中智能体在开放世界环境中进行大规模目标导航（ObjectNav）的研究
• 特点:
  • 包含14个高保真Unreal Engine环境，涵盖城市、自然和混合用途场景
  • 定义了1270个带注释的目标对象，每个对象配有结构化语义提示
  • 语义提示包含类别、估计物理足迹和详细视觉描述符
  • 旨在推动复杂现实环境中基于语义目标描述的可扩展无人机自主性研究

数据集内容

• 环境:
  • 训练环境: 44.1G (可从Hugging Face获取)
  • 测试环境: 26.8G (可从Hugging Face获取)
• 数据集文件: JSON格式 (可从Hugging Face获取)

使用指南

1. 依赖安装: bash conda create -n uavon python==3.8 conda activate uavon pip install -r requirements.txt

2. 环境准备:

   • 下载并解压训练和测试环境

   • 确保目录结构如下:

     workspace/ ├── UAV_ON/ ├── DATASET/ ├── TRAIN_ENVS/ └── TEST_ENVS/

3. 运行步骤:

   • 启动AirSim环境服务器: bash python airsim_plugin/AirVLNSimulatorServerTool.py --port=30000 --root_path="your workspace path"

   • 执行评估脚本: bash

     AOA-F/V

     bash scripts/eval_fixed.sh bash scripts/eval_unfixed.sh

     CLIP-H

     bash scripts/eval_cliph.sh bash scripts/metric.sh

补充信息

• 演示视频: YouTube链接
• 附录文档: Google Drive链接

搜集汇总

数据集介绍

构建方式

UAV-ON数据集构建于高保真的Unreal Engine环境中，涵盖14种多样化的户外场景，包括城市、自然和混合用途区域。通过语义区域划分和复杂空间布局设计，数据集定义了1270个标注目标对象，每个对象均配备实例级语义指令，涵盖类别、物理足迹和视觉描述符。数据集的构建采用了基于大型语言模型的场景-对象共现映射策略，确保目标对象在环境中的语义合理性和空间分布真实性。

使用方法

使用UAV-ON时，智能体需基于随机初始化的六自由度位姿，通过四组同步RGB-D相机获取的自我中心观察实现导航。任务要求解析包含目标对象类别、尺寸和描述的语义指令，在50单位的搜索半径内完成三维探索与定位。评估采用成功率、最短路径加权成功率等指标，支持强化学习与模仿学习两种范式。数据集提供训练环境的体素化地图和A*算法生成的最优路径，可用于导航策略的优化与验证。

背景与挑战

背景概述

UAV-ON数据集由哈尔滨工业大学（深圳）的研究团队于2025年提出，旨在解决无人机在开放世界环境中基于语义目标的自主导航问题。该数据集突破了传统视觉与语言导航（VLN）对逐步语言指令的依赖，转向更高级别的语义目标导航范式。UAV-ON包含14个高保真的Unreal Engine虚拟环境，覆盖城市、自然和混合用途场景，定义了1270个标注目标对象，每个对象通过实例级语义指令描述其类别、物理足迹和视觉特征。这一数据集的推出为无人机在复杂现实环境中的语义驱动自主导航研究提供了标准化平台，推动了无人机自主性和可扩展性的发展。

当前挑战

UAV-ON面临的挑战主要体现在两个方面：领域问题方面，无人机在开放世界环境中进行语义目标导航需要解决三维空间中的障碍物避障、动态环境适应以及高级语义理解等复杂问题；构建过程方面，数据集的创建需要处理大规模高保真环境的建模、语义目标与场景的合理分布以及实例级语义指令的精确标注等难题。此外，无人机导航的连续控制与物理仿真也对数据集的真实性和实用性提出了更高要求。

常用场景

经典使用场景

UAV-ON数据集在无人机自主导航领域具有广泛的应用场景，尤其在开放世界的三维环境中进行目标导向导航任务时表现突出。该数据集通过高保真的Unreal Engine环境模拟了多样化的户外场景，包括城市、森林、水域等复杂地形，为无人机提供了丰富的语义区域和空间布局。经典使用场景包括无人机在未知环境中基于高级语义目标（如寻找特定物体）进行自主探索和导航，而无需依赖详细的逐步语言指令。这种场景特别适用于需要无人机在大型、非结构化环境中执行任务的场合，如搜索救援、环境监测等。

解决学术问题

UAV-ON数据集解决了无人机导航领域中的多个关键学术问题。首先，它填补了现有视觉与语言导航（VLN）范式在开放世界环境中依赖逐步语言指令的局限性，通过语义目标导航（ObjectNav）实现了更高的自主性和可扩展性。其次，数据集提供了复杂的空间布局和多样化的语义目标，为研究无人机在三维环境中的感知、规划和推理能力提供了标准化平台。此外，UAV-ON通过实例级语义指令引入了现实中的模糊性和复杂推理挑战，推动了无人机在语义目标 grounding 和长时程探索方面的研究。

实际应用

在实际应用中，UAV-ON数据集为无人机在复杂现实环境中的自主导航提供了重要支持。其典型应用包括智能城市中的货物运输、紧急救援行动中的目标搜索、以及环境监测中的特定物体定位。数据集通过多视角RGB-D传感器模拟和物理基础的连续动作空间，确保了无人机在真实世界中的安全导航和障碍物避碰能力。此外，UAV-ON的语义目标导航框架使得无人机能够根据高层指令（如“寻找穿红色衣服的小孩”）在开放环境中自主执行任务，显著提升了无人机在动态和不确定性环境中的操作能力。

数据集最近研究

最新研究方向

随着无人机技术的快速发展，其在开放环境中的自主导航能力成为研究热点。UAV-ON数据集的提出填补了当前基于视觉语言导航（VLN）范式在开放世界对象目标导航（ObjectNav）领域的空白。该数据集通过14个高保真虚拟环境和1270个标注目标对象，为无人机在复杂三维空间中的语义导航提供了标准化评估平台。前沿研究主要聚焦于多模态感知与语义推理的融合，探索如何利用预训练的大语言模型（如GPT-4o）实现零样本目标定位与路径规划。近期工作如Aerial ObjectNav Agent（AOA）通过提示工程整合视觉观察与语义指令，展现了语言模型在空间推理中的潜力，但碰撞率高（超30%）和终止控制不稳定等挑战仍凸显物理约束下语义导航的复杂性。该方向与低空管理（LAAM）、智慧城市等应用场景紧密结合，为无人机在物流配送、灾害救援等任务中的自主决策提供理论基础。

相关研究论文

• UAV-ON: A Benchmark for Open-World Object Goal Navigation with Aerial Agents

  哈尔滨工业大学（深圳） · 2025年