AirSim360

AirSim360是由影石创新科技研究所等机构联合创建的无人机全景仿真数据集，旨在为空间智能提供大规模、多样化的全景视觉数据。该数据集包含超过6万条全景样本，涵盖高分辨率图像及像素级几何、语义与实例标注，数据通过基于Unreal Engine的高保真渲染引擎合成，并采用立方体面拼接与等距柱状投影技术生成无缝全景视图。数据集创建过程集成了交互式行人感知系统与自动化轨迹生成范式，模拟了动态人类行为与复杂飞行场景。该数据集主要应用于无人机全景感知任务，如深度估计、全景分割、人体关键点检测与视觉语言导航，旨在解决真实世界全景数据稀缺的瓶颈，推动具身智能与自主导航系统的发展。AirSim360 is a drone panoramic simulation dataset jointly developed by Insta360 Innovation Research Institute and other collaborating institutions. It aims to provide large-scale and diverse panoramic visual data for spatial intelligence. This dataset contains over 60,000 panoramic samples, covering high-resolution images as well as pixel-level geometric, semantic and instance annotations. The data is synthesized via a high-fidelity rendering engine based on Unreal Engine, and seamless panoramic views are generated using cube map stitching and equirectangular projection technologies. The dataset creation process integrates an interactive pedestrian perception system and an automated trajectory generation paradigm, simulating dynamic human behaviors and complex flight scenarios. This dataset is primarily applied to drone panoramic perception tasks, including depth estimation, panoramic segmentation, human keypoint detection and vision-language navigation. It is designed to address the bottleneck of scarce real-world panoramic data and advance the development of embodied intelligence and autonomous navigation systems.

原始信息汇总

AirSim360 数据集概述

数据集名称

AirSim360 (Omni360-X)

核心描述

AirSim360 是一个用于无人机场景的大规模全向（全景）仿真平台。它专注于从空中视角获取全向数据，支持利用无人机进行广泛的场景采样。该平台强调低空地面环境中三个关键组件（静态环境、无人机和人类行为者）的一致性与兼容性，这与以人为中心的现实世界的主要特征紧密契合。

数据集组织

为服务于不同的研究目标，Omni360-X 数据集被组织为三个子集：

• Scene（场景）子集：侧重于像素级的几何、语义和实例级理解。
• Pedestrian（行人）子集：包含一个交互式的行人感知系统，用于建模人类行为。
• Trajectory（轨迹）子集：支持导航任务的自动化轨迹生成范式。

关键技术特点

• 渲染对齐的数据与标注范式：用于像素级的几何、语义和实例级理解。
• 交互式行人感知系统：用于建模人类行为。
• 自动化轨迹生成范式：以支持导航任务。

实验性能

数据集在多个任务上进行了基准测试，证明了其对现实世界场景的益处。使用模拟数据在公共真实世界验证集上进行评估时，能持续提升模型的性能和鲁棒性。

1. 单目行人距离估计 (MPDE)

使用 Omni360-Human 数据集进行训练，显著提升了单目行人距离估计模型的跨域泛化能力。

• 在公开测试集上，平均角度误差从 21.21° 降至 17.02°，平均距离误差从 0.484 m 降至 0.458 m。
• 具体性能提升见下表：

训练集	测试集	距离误差 (m) ↓	角度误差 (°) ↓
nuScenes	KITTI	0.822	31.50
nuScenes + Omni360	KITTI	0.809	31.20
nuScenes	FreeMan	0.260	17.00
nuScenes + Omni360	FreeMan	0.228	11.60

2. 全景深度估计 (域外泛化)

进行域外实验以评估 Omni360 数据集的泛化能力。在 Omni360 上训练的模型对未见环境（SphereCraft）表现出更好的泛化性能。

实验类型	训练数据	测试数据	AbsRel ↓	RMSE ↓
域外泛化	Deep360	SphereCraft	8.2570	0.0566
域外泛化	Omni360	SphereCraft	5.4372	0.0435

3. 全景分割

引入大规模 Omni360-Scene 分割数据，在 WildPASS 验证集上为像素级场景解析带来了显著的性能提升。

任务	训练数据	性能指标	结果
语义分割	WildPASS Baseline	mIoU ↑	58.0
	WildPASS + Omni360		67.4
实体分割	WildPASS Baseline	mAP ↑	24.6
	WildPASS + Omni360		38.9

引用信息

bibtex @article{ge2025airsim360, title={AirSim360: A Panoramic Simulation Platform within Drone View }, author={Ge, Xian and Pan, Yuling and Zhang, Yuhang and Li, Xiang and Zhang, Weijun and Zhang, Dizhe and Wan, Zhaoliang and Lin, Xin and Zhang, Xiangkai and Liang, Juntao and Li, Jason and Jiang, Wenjie and Du, Bo and Yang, Ming-Hsuan and Qi, Lu}, journal={arXiv}, year={2025} }

搜集汇总

数据集介绍

构建方式

在无人机全景感知领域，数据稀缺长期制约着算法发展。AirSim360创新性地构建了一个基于虚幻引擎的高保真仿真平台，通过六面立方体视图的实时拼接生成等距柱状投影全景图像。平台采用GPU端纹理复制机制，确保多视角光照一致性与高效渲染；同时重新定义深度信息为沿视线方向的斜距，并利用模板缓冲与骨架绑定技术，同步产生像素级语义分割、实体分割及人体关键点标注。此外，集成了基于最小加加速度的自动化轨迹规划与交互式行人行为模拟系统，实现了在多样化飞行场景中大规模、多模态数据的闭环采集。

特点

该数据集的核心特点在于其系统性的全景建模能力与丰富的标注体系。作为首个面向无人机全景视角的仿真平台，AirSim360提供了超过六万帧非重复全景样本，涵盖城市公园、街道等多种场景，物理尺度与语义复杂度差异显著。数据标注不仅包含传统的深度与语义分割，更创新性地实现了全图像实体级分割与时间一致的三维人体关键点标注，支持全景深度估计、全景分割、行人距离估计与视觉语言导航等多任务验证。其交互式行人感知系统能模拟多种行人行为与交互，增强了数据在以人为本的感知任务中的实用性。

使用方法

研究者可通过平台提供的Python/Blueprint接口，灵活调用数据采集工具链进行离线数据生成或在线闭环仿真。对于离线研究，平台支持用户自定义飞行路径或利用自动化轨迹生成范式批量采集带有全景图像及多类真值标注的数据。在线仿真模式下，外部模型可通过视觉-语言-动作接口输出高级控制指令，驱动无人机在动态环境中进行自主导航与交互。采集的数据集可直接用于训练和评估全景深度估计、分割、行人定位等感知模型，其合成数据在跨域与域外评估中已展现出卓越的泛化能力，为推进无人机全景空间智能研究提供了关键基础设施。

背景与挑战

背景概述

全景视觉与无人机技术的融合正推动空间智能迈向新的发展阶段，然而大规模、高质量的全景数据匮乏长期制约着该领域的深入探索。在此背景下，Insta360 Research联合武汉大学、加州大学等机构的研究团队于2025年提出了AirSim360全景无人机仿真平台。该平台基于虚幻引擎构建，旨在系统性地解决无人机视角下全景数据的生成难题，其核心研究聚焦于全景场景理解、人机交互建模与自主导航三大关键方向。通过提供超过六万帧的高质量全景样本及像素级标注，AirSim360为全景深度估计、语义分割、人体关键点检测等任务建立了新的基准，显著推动了全景感知算法在真实场景中的泛化与应用能力。

当前挑战

AirSim360所应对的核心领域挑战在于全景视觉理解中数据规模与多样性的严重不足，传统方法受限于硬件采集成本与人工标注难度，难以支撑算法对复杂动态环境的鲁棒性建模。在平台构建过程中，研究团队面临多重技术瓶颈：其一，高效生成全景图像需解决多视角同步渲染带来的计算负载与帧率下降问题；其二，全景标注体系（如沿视线方向的深度定义、实体级分割）需重新设计以区别于透视投影范式；其三，模拟真实行人行为并保持跨帧身份一致性，对交互系统的设计与标注流程提出了极高要求。这些挑战共同指向了构建高保真、可扩展全景仿真环境的内在复杂性。

常用场景

经典使用场景

在无人机全景感知研究领域，AirSim360数据集为算法开发与验证提供了核心支撑。该数据集通过模拟平台生成超过六万帧的高质量全景样本，涵盖深度估计、语义分割、实例分割及人体关键点检测等多模态标注信息。研究者可借助其丰富的场景变体与精确的像素级真值，系统性地训练和评估全景视觉理解模型，尤其在处理复杂低空环境中的遮挡、光照变化及动态物体交互等挑战时展现出独特价值。

衍生相关工作

基于AirSim360平台与数据集，已衍生出多个重要的研究方向与基准任务。例如，在Omni360-X数据集上进行的全景深度估计跨域评估、全景分割的规模化数据增强研究，以及引入的全景视觉语言导航新任务，均推动了领域内方法论的进步。其提供的物理仿真环境与API工具链，也促进了无人机闭环控制、行人距离估计模型训练等一系列经典工作的复现与改进，为全景无人机系统的端到端研发建立了坚实基础。

数据集最近研究

最新研究方向

随着无人机与全景感知技术在空间智能领域的深度融合，全景无人机仿真平台AirSim360的推出标志着该领域迈入了一个新的研究阶段。该平台通过集成先进的渲染引擎与交互式行人感知系统，为全景深度估计、实体分割及视觉语言导航等任务提供了大规模、高质量的合成数据。当前研究热点聚焦于利用其自动轨迹生成范式与像素级标注能力，推动全景视觉任务在跨域泛化与模型鲁棒性方面的突破，尤其在低空环境下的全景避障与人类行为理解等场景中展现出重要应用潜力。

相关研究论文

• AirSim360: A Panoramic Simulation Platform within Drone View

  影石创新科技研究所、武汉大学、加州大学圣地亚哥分校、南洋理工大学、加州大学默塞德分校、深圳大学 · 2025年