CityNav

CityNav是一个专为语言目标空中导航设计的大型数据集，由东京工业大学和东京大学等机构合作创建。该数据集包含32,637条自然语言描述，与人类演示轨迹配对，用于训练空中导航智能体。数据集利用真实城市的3D点云数据，通过网络3D飞行模拟器收集轨迹，强调地理信息的应用。CityNav旨在解决真实世界城市规模空中导航的挑战，适用于无人机应用如快递配送、3D搜索救援和灾害风险评估。

CityNav is a large-scale dataset specifically designed for language-goal aerial navigation, collaboratively created by institutions including Tokyo Institute of Technology and The University of Tokyo. This dataset contains 32,637 natural language descriptions paired with human-demonstrated trajectories, intended for training aerial navigation AI Agents. It leverages 3D point cloud data of real-world cities, collects trajectories via a web-based 3D flight simulator, and emphasizes the application of geographic information. CityNav aims to address the challenges of real-world city-scale aerial navigation, and is applicable to drone applications such as express delivery, 3D search and rescue, and disaster risk assessment.

搜集汇总

数据集介绍

构建方式

CityNav数据集的构建方式是通过收集32,637个自然语言描述与人类演示轨迹配对的3D点云数据，这些数据来源于现实世界的城市。参与者通过一个专为该研究开发的基于网络的3D模拟器提供了这些轨迹。每个描述都指定了一个导航目标，利用了现实世界中城市地标的位置和名称。为了训练导航代理，我们还提供了一个内部2D空间地图，表示描述中引用的地标。

特点

CityNav数据集的特点是它是一个用于语言目标空中导航的大型数据集，它利用了真实城市的3D点云表示。这个数据集提供了32,637个自然语言描述，每个描述都与人类演示轨迹配对，这些轨迹是从参与者那里收集的。每个描述都指定了一个导航目标，利用了现实世界中城市地标的位置和名称。此外，我们还提供了一个内部2D空间地图，表示描述中引用的地标，以帮助导航代理。

使用方法

CityNav数据集的使用方法是通过提供一个基于网络的3D模拟器，参与者可以在其中操作空中代理，并通过连续的3D状态空间导航到一个与语言目标描述相匹配的目的地。参与者被要求使用空中代理的第一人称视角和一个2D地图来寻找指定的对象，并通过控制代理的移动来导航到该对象的位置。数据集还包括一个2D地图，显示代理的实时位置，以及一个飞行图，显示代理在3D环境中的位置。参与者需要在找到目标对象后，在目标上方放置一个标记，以完成导航任务。

背景与挑战

背景概述

CityNav数据集的研究背景主要在于解决视觉与语言导航（VLN）领域在空中导航方面的不足。随着VLN技术在地面导航方面取得显著进展，但空中导航仍面临挑战，主要是缺乏适用于现实世界、城市规模的空中导航研究的资源。CityNav数据集由东京工业大学、东京大学、日本国立信息研究所、ATR、理化学研究所、京都大学和索尼半导体解决方案等机构的研究人员于2023年创建，旨在填补这一空白。该数据集包括32,637个自然语言描述和人类演示轨迹，通过一个专门为这项研究开发的基于网络的3D模拟器收集。每个描述都指定了一个导航目标，利用了真实城市中地标的名字和位置。此外，还提供了包含内部2D空间地图的导航代理的基线模型，该地图代表描述中提到的地标。CityNav数据集的创建对相关领域产生了深远的影响，为研究者在空中VLN领域提供了宝贵的资源。

当前挑战

CityNav数据集所面临的挑战主要包括两个方面：首先，空中导航领域的问题挑战，如巨大的3D导航空间和缺乏包含真实世界数据的集；其次，构建过程中的挑战，如收集大量真实世界的空中导航轨迹。此外，CityNav数据集还需要解决如何将描述中的地理信息与真实世界的地图相结合，以及如何训练智能空中代理以在复杂环境中进行有效的导航。

常用场景

经典使用场景

CityNav数据集最经典的使用场景在于模拟真实城市环境中的语言目标空中导航任务。该数据集通过3D点云表示真实城市的地理信息，为智能空中代理提供了丰富的视觉和语言线索。在CityNav数据集中，每个描述都指定了一个导航目标，利用了真实城市中地标的位置和名称。例如，空中代理可能被要求根据描述找到特定的建筑物或地标。这项任务要求代理能够理解自然语言指令，并结合视觉信息进行导航。CityNav数据集为研究者提供了一个基准，用于评估和比较不同的空中导航模型，推动这一领域的发展。

实际应用

CityNav数据集在实际应用场景中具有广泛的应用前景。例如，在城市监控和紧急响应任务中，空中代理可以根据自然语言指令进行导航，快速准确地定位目标对象。此外，该数据集还可以用于训练无人机进行复杂的空中操作，如3D搜救和灾害风险评估。通过使用CityNav数据集，无人机可以更好地理解并执行包含视觉和语言指令的复杂任务，提高其在现实世界中的应用能力。CityNav数据集的引入为无人机应用的发展提供了有力支持，有望在未来的智能城市和灾害管理中发挥重要作用。

衍生相关工作

CityNav数据集的引入促进了空中视觉与语言导航(VLN)领域的研究，衍生了一系列相关工作。例如，研究者们可以利用CityNav数据集来训练和评估不同的空中导航模型，探索更有效的导航策略和算法。此外，CityNav数据集还可以与其他数据集相结合，构建更全面和复杂的空中导航任务。这些相关工作有助于推动空中VLN领域的发展，并为无人机应用提供更强大的技术支持。CityNav数据集的引入为空中VLN领域的研究开辟了新的方向，为未来的研究提供了宝贵的资源和启示。