five

OpenUAV|无人机导航数据集|视觉语言处理数据集

收藏
arXiv2024-10-10 更新2024-10-11 收录
无人机导航
视觉语言处理
下载链接:
https://prince687028.github.io/OpenUAV
下载链接
链接失效反馈
资源简介:
OpenUAV数据集是由北京航空航天大学人工智能研究所创建的,专门用于无人机视觉语言导航任务。该数据集包含约12,000条轨迹,涵盖了6自由度的飞行动态,准确捕捉了无人机的复杂飞行行为。数据集的创建过程包括在OpenUAV平台上进行连续飞行,并使用GPT-4生成目标描述,随后进行人工质量检查。该数据集主要应用于无人机在复杂环境中的导航任务,旨在提高无人机在现实世界中的导航精度和效率。
提供机构:
北京航空航天大学人工智能研究所
创建时间:
2024-10-10
AI搜集汇总
数据集介绍
main_image_url
构建方式
OpenUAV数据集的构建基于一个高度仿真的无人机视觉语言导航(VLN)平台,该平台集成了多样化的环境、真实的飞行控制和广泛的算法支持。通过在OpenUAV平台上进行约12,000次轨迹的收集,构建了一个面向目标的VLN数据集。这些轨迹由人类标注者在平台上进行连续飞行,定期记录无人机状态,并异步收集传感器数据,以获取导航轨迹。利用GPT-4生成目标描述,并进行人工质量检查,最终形成了高质量的导航指令,共计约12,000对轨迹-指令对。
特点
OpenUAV数据集的显著特点在于其真实性和复杂性。该数据集首次包含了6自由度(DoF)的运动轨迹,准确捕捉了无人机的复杂飞行动力学。此外,数据集中的环境多样且复杂,涵盖了城市、乡村和自然景观等多种场景,确保了任务的挑战性和复杂性。数据集还提供了详细的导航指令和环境信息,增强了无人机的导航能力。
使用方法
OpenUAV数据集适用于研究无人机视觉语言导航(VLN)任务,特别是在复杂和真实环境中的应用。研究者可以利用该数据集训练和评估无人机导航模型,探索如何在多模态信息(如视觉和文本)的指导下实现精确导航。数据集的多样性和真实性使其成为开发和验证新型导航算法的重要资源,有助于推动无人机VLN系统向实际应用的转化。
背景与挑战
背景概述
视觉-语言导航(VLN)作为人工智能领域的一个长期目标,旨在构建能够理解人类指令并据此导航的具身代理。近年来,VLN研究主要集中在地面代理上,而基于无人机的VLN(UAV-VLN)则相对较少受到关注。尽管UAV-VLN具有丰富的应用场景,但由于无人机与地面代理在动作空间和观察上的显著差异,这一领域仍具有巨大的研究价值。OpenUAV数据集由北京航空航天大学和香港中文大学的研究人员于2024年创建,旨在解决无人机在复杂空中环境中进行视觉-语言导航的挑战。该数据集通过引入真实飞行控制和多样化算法支持,构建了首个专门为无人机VLN任务设计的目标导向VLN数据集,包含约12,000条轨迹,为无人机在真实环境中的导航提供了重要资源。
当前挑战
OpenUAV数据集面临的挑战主要集中在两个方面:一是无人机运动动力学的不匹配,无人机在三维空间中的自由运动使其轨迹难以分解为离散动作,传统的固定动作集方法无法捕捉真实的飞行动力学;二是导航任务的复杂性,无人机在多样化的户外开放环境中操作,导航路径通常较长且复杂,仅依赖目标描述不足以在复杂动态场景中进行精确的定位和导航。此外,数据集构建过程中遇到的挑战包括如何收集高质量的导航指令和真实飞行轨迹,以及如何处理传感器数据以确保数据的连续性和准确性。这些挑战共同构成了OpenUAV数据集在推动无人机视觉-语言导航研究中的关键障碍。
常用场景
经典使用场景
OpenUAV数据集在无人机视觉语言导航(VLN)任务中展现了其经典应用场景。该数据集通过模拟真实环境中的飞行控制和多样化的算法支持,为无人机在复杂环境中的导航提供了丰富的训练数据。其核心应用在于通过语言指令和视觉信息引导无人机到达目标位置,特别是在需要连续轨迹生成和复杂场景理解的情境下,OpenUAV数据集为研究者提供了一个高度仿真的实验平台。
衍生相关工作
OpenUAV数据集的发布催生了一系列相关研究工作。研究者们基于该数据集开发了多种无人机导航模型,如结合多模态理解能力的LLM模型,显著提升了无人机在复杂环境中的导航性能。此外,OpenUAV平台还激发了对无人机自主导航能力的深入研究,推动了从模拟环境到真实世界部署的技术转移。这些衍生工作不仅扩展了无人机VLN的研究边界,也为无人机技术的广泛应用奠定了基础。
数据集最近研究
最新研究方向
在无人机视觉语言导航(VLN)领域,OpenUAV数据集的最新研究方向主要集中在实现更真实的无人机导航任务。研究者们通过构建OpenUAV平台,结合多样化的环境、真实的飞行控制和广泛的算法支持,推动了无人机VLN任务的现实模拟。此外,研究还引入了UAV-Need-Help基准,通过提供不同级别的辅助信息,帮助无人机在复杂环境中完成目标导向的VLN任务。这些研究不仅提升了无人机在复杂环境中的导航能力,还为将VLN系统应用于实际场景奠定了基础。
相关研究论文
  • 1
    Towards Realistic UAV Vision-Language Navigation: Platform, Benchmark, and Methodology北京航空航天大学人工智能研究所 · 2024年
以上内容由AI搜集并总结生成
用户留言
有没有相关的论文或文献参考?
这个数据集是基于什么背景创建的?
数据集的作者是谁?
能帮我联系到这个数据集的作者吗?
这个数据集如何下载?
点击留言
数据主题
具身智能
数据集  4099个
机构  8个
大模型
数据集  439个
机构  10个
无人机
数据集  37个
机构  6个
指令微调
数据集  36个
机构  6个
蛋白质结构
数据集  50个
机构  8个
空间智能
数据集  21个
机构  5个
5,000+
优质数据集
54 个
任务类型
进入经典数据集
热门数据集

GlobalBuildingAtlas

GlobalBuildingAtlas是一个公开的全球建筑数据集,提供了全球范围内的建筑多边形、高度和LoD1 3D模型。该数据集是第一个提供高质量的、一致的、完整的建筑数据,以2D和3D形式在单个建筑层面上进行全球覆盖的公开数据集。数据集包括2.75亿座建筑,比目前最全面的数据库多出超过10亿座建筑。GBA.Height提供了迄今为止最详细和最准确的全球3D建筑高度图,实现了3×3米的空间分辨率,比以前的全球产品(90米)精细30倍,能够在本地和全球范围内对建筑体积进行高分辨率和可靠的分析。GBA.LoD1代表了第一个完整的全球LoD1建筑模型,包括2.68亿个建筑实例,具有预测的高度,即高度完整性超过97%,在不同大陆上实现了从1.5米到8.9米的RMSEs。GlobalBuildingAtlas以其高度精度、全面的全球覆盖和丰富的空间细节,为全球建筑现状提供了新的见解,开辟了前所未有的地理空间分析可能性,例如更好地说明人们居住在哪里,以及更全面地监测联合国第11个可持续发展目标的进展。

arXiv 收录

中国1km分辨率逐月降水量数据集(1901-2024)

该数据集为中国逐月降水量数据,空间分辨率为0.0083333°(约1km),时间为1901.1-2024.12。数据格式为NETCDF,即.nc格式。该数据集是根据CRU发布的全球0.5°气候数据集以及WorldClim发布的全球高分辨率气候数据集,通过Delta空间降尺度方案在中国降尺度生成的。并且,使用496个独立气象观测点数据进行验证,验证结果可信。本数据集包含的地理空间范围是全国主要陆地(包含港澳台地区),不含南海岛礁等区域。为了便于存储,数据均为int16型存于nc文件中,降水单位为0.1mm。 nc数据可使用ArcMAP软件打开制图; 并可用Matlab软件进行提取处理,Matlab发布了读入与存储nc文件的函数,读取函数为ncread,切换到nc文件存储文件夹,语句表达为:ncread (‘XXX.nc’,‘var’, [i j t],[leni lenj lent]),其中XXX.nc为文件名,为字符串需要’’;var是从XXX.nc中读取的变量名,为字符串需要’’;i、j、t分别为读取数据的起始行、列、时间,leni、lenj、lent i分别为在行、列、时间维度上读取的长度。这样,研究区内任何地区、任何时间段均可用此函数读取。Matlab的help里面有很多关于nc数据的命令,可查看。数据坐标系统建议使用WGS84。

国家青藏高原科学数据中心 收录

中国劳动力动态调查

“中国劳动力动态调查” (China Labor-force Dynamics Survey,简称 CLDS)是“985”三期“中山大学社会科学特色数据库建设”专项内容,CLDS的目的是通过对中国城乡以村/居为追踪范围的家庭、劳动力个体开展每两年一次的动态追踪调查,系统地监测村/居社区的社会结构和家庭、劳动力个体的变化与相互影响,建立劳动力、家庭和社区三个层次上的追踪数据库,从而为进行实证导向的高质量的理论研究和政策研究提供基础数据。

中国学术调查数据资料库 收录

CE-CSL

CE-CSL数据集是由哈尔滨工程大学智能科学与工程学院创建的中文连续手语数据集,旨在解决现有数据集在复杂环境下的局限性。该数据集包含5,988个从日常生活场景中收集的连续手语视频片段,涵盖超过70种不同的复杂背景,确保了数据集的代表性和泛化能力。数据集的创建过程严格遵循实际应用导向,通过收集大量真实场景下的手语视频材料,覆盖了广泛的情境变化和环境复杂性。CE-CSL数据集主要应用于连续手语识别领域,旨在提高手语识别技术在复杂环境中的准确性和效率,促进聋人与听人社区之间的无障碍沟通。

arXiv 收录

HazyDet

HazyDet是由解放军工程大学等机构创建的一个大规模数据集,专门用于雾霾场景下的无人机视角物体检测。该数据集包含383,000个真实世界实例,收集自自然雾霾环境和正常场景中人工添加的雾霾效果,以模拟恶劣天气条件。数据集的创建过程结合了深度估计和大气散射模型,确保了数据的真实性和多样性。HazyDet主要应用于无人机在恶劣天气条件下的物体检测,旨在提高无人机在复杂环境中的感知能力。

arXiv 收录