AerialAgent-Ego10k, CyberAgentEgo500k, SkyAgent-Scene3k, SkyAgent-Reason3k, SkyAgent-Nav3k, SkyAgent-Plan3k, SkyAgent-Act3k

本研究由中国科学院空天信息创新研究院主导，构建了首个大规模的无人机视角图像-文本预训练数据集AerialAgent-Ego10k和虚拟图像-文本-姿态对齐数据集CyberAgentEgo500k，以及五个下游任务指令数据集。这些数据集涵盖了从真实到虚拟的多种城市环境，旨在提升无人机在复杂环境中的感知、认知和行动能力。数据集的创建过程结合了专业的无人机操作和数据标注，经过严格的质量控制，适用于无人机智能代理的预训练和微调，以解决无人机自主智能的关键问题。This study was led by the Aerospace Information Research Institute, Chinese Academy of Sciences. The research team constructed the first large-scale UAV egocentric image-text pre-training dataset AerialAgent-Ego10k, the virtual image-text-pose aligned dataset CyberAgentEgo500k, and five downstream task instruction datasets. These datasets cover diverse urban environments spanning real-world and virtual scenarios, aiming to improve the perception, cognition and operational capabilities of UAVs in complex environments. The development of these datasets integrates professional UAV operations and data annotation, with rigorous quality control, and is tailored for pre-training and fine-tuning of UAV AI Agents to address core challenges in UAV autonomous intelligence.

搜集汇总

数据集介绍

构建方式

AeroVerse数据集的构建旨在解决现有无人机智能体数据集的不足，特别是针对无人机在航空航天场景下的自主感知、认知和行动能力。该数据集的构建基于 AeroSimulator 模拟平台，该平台包含四个真实的城市场景，用于无人机飞行模拟。同时，为了提高模型对真实场景的理解能力，构建了 AerialAgent-Ego10k 数据集，该数据集包含从第一人称视角拍摄的无人机在城市中的图像。为了便于模型在虚拟环境中的预训练，构建了 CyberAgentEgo500k 数据集，该数据集包含无人机姿态、第一人称视角图像和文本描述。此外，为了支持航空航天智能体在场景感知、空间推理、导航探索、任务规划和运动决策等方面的能力，构建了 SkyAgent-Scene3k、SkyAgent-Reason3k、SkyAgent-Nav3k、SkyAgent-Plan3k 和 SkyAgent-Act3k 等数据集。

特点

AeroVerse 数据集的特点主要体现在以下几个方面：首先，该数据集涵盖了无人机在航空航天场景下的多个任务，包括场景感知、空间推理、导航探索、任务规划和运动决策等，这些任务的定义和实现对于无人机智能体的发展具有重要意义。其次，该数据集包含了大规模的真实和虚拟数据，AerialAgent-Ego10k 数据集包含从第一人称视角拍摄的无人机在城市中的图像，CyberAgent-Ego500k 数据集包含无人机姿态、第一人称视角图像和文本描述，这些数据对于模型在真实和虚拟环境中的预训练具有重要意义。最后，该数据集采用了基于 GPT-4 的自动化评估方法，可以对下游任务的结果进行全面的、灵活的、客观的评估，提高了评估结果的可靠性。

使用方法

AeroVerse 数据集的使用方法主要包括以下几个方面：首先，可以使用该数据集进行航空航天智能体的预训练和微调，以提高模型在场景感知、空间推理、导航探索、任务规划和运动决策等方面的能力。其次，可以使用该数据集进行航空航天智能体的评估，以评估模型在不同任务上的性能和泛化能力。最后，可以使用该数据集进行航空航天智能体的研究和开发，以推动航空航天智能体技术的发展和应用。

背景与挑战

背景概述

随着无人机在各个领域的广泛应用，如光伏检测、垃圾监测、交通监控、电力巡检和森林火灾救援等，对无人机的自主智能需求日益增长。航天具身智能旨在赋予无人机和其他航天平台自主感知、认知和行动的能力，以及与人类和环境进行自我中心的主动交互。航天具身世界模型是实现无人机自主智能的有效手段，也是航天具身智能发展的必要途径。然而，现有的具身世界模型主要关注室内场景中的地面智能体，而对无人机智能体的研究尚待探索。为了填补这一空白，研究人员开发了AeroSimulator模拟平台，并构建了首个大规模真实世界图像-文本预训练数据集AerialAgent-Ego10k，以及虚拟图像-文本-姿态对齐数据集CyberAgentEgo500k，以促进航天具身世界模型的预训练。此外，他们还定义了五个下游任务，包括航天具身场景感知、空间推理、导航探索、任务规划和运动决策，并构建了相应的指令数据集SkyAgent-Scene3k、SkyAgent-Reason3k、SkyAgent-Nav3k、SkyAgent-Plan3k和SkyAgent-Act3k，用于微调航天具身世界模型。这些数据集和模型将促进航天具身智能的研究和发展。

当前挑战

无人机具身智能数据集的构建面临一些挑战。首先，缺乏对无人机具身任务的明确定义。其次，无人机3D数据采集困难。第三，无人机具身数据收集成本高。这些挑战限制了无人机具身智能的发展。为了解决这些问题，研究人员开发了AeroSimulator模拟平台，并构建了AerialAgent-Ego10k和CyberAgentEgo500k数据集，以及五个下游任务指令数据集，以促进航天具身智能的研究和发展。

常用场景

经典使用场景

AerialAgent-Ego10k数据集主要用于训练和评估航空航天具身世界模型，特别是针对无人机智能体。该数据集提供了从第一人称视角拍摄的无人机在高空城市场景中的图像，以及相应的文本描述，帮助模型理解真实城市环境。CyberAgentEgo500k数据集则用于航空航天具身世界模型的虚拟对齐预训练，通过模拟环境中的图像、文本描述和无人机姿态，提升模型在模拟环境中的泛化能力。

解决学术问题

该数据集解决了航空航天具身智能领域中的几个关键学术问题。首先，它定义了五个下游任务，包括航空航天具身场景感知、空间推理、导航探索、任务规划和运动决策，为该领域的研究提供了明确的方向。其次，它解决了无人机三维数据获取的难题，通过大规模的虚拟现实预训练数据集，降低了数据获取的门槛。最后，它还解决了航空航天具身数据收集的高成本问题，通过高质量的指令数据集，提高了数据收集的效率。

衍生相关工作

AerialAgent-Ego10k和CyberAgentEgo500k数据集的发布推动了航空航天具身智能领域的研究和发展。基于这些数据集，研究人员可以开发新的航空航天具身世界模型，并将其应用于无人机智能体的训练和评估。此外，这些数据集还可以用于研究无人机智能体在真实世界中的应用，例如城市垃圾检测、电力检查和森林火灾救援等。