World360

World360是由影石创新研究等机构构建的大规模全景世界建模基准数据集，旨在解决复杂真实环境中全景视频生成的物理一致性问题。该数据集包含12万条高质量序列，融合了7万条通过全景无人机采集的真实世界视频剪辑与5万条基于AirSim360平台生成的高保真模拟剪辑，覆盖多海拔空中轨迹并附带精确相机姿态与深度信息。数据构建采用三阶段对齐流程，通过旋转解耦、空间重采样和光照过滤确保时空几何与辐射一致性，专门用于训练和评估在剧烈光照变化与大尺度空间变换下的全景生成模型，推动自动驾驶、无人机等机器人应用领域的发展。World360 is a large-scale panoramic world modeling benchmark dataset constructed by institutions including Insta360 Research, aiming to address the physical consistency challenge of panoramic video generation in complex real-world environments. This dataset encompasses 120,000 high-quality sequences, integrating 70,000 real-world video clips captured by panoramic drones and 50,000 high-fidelity simulated clips generated via the AirSim360 platform. It covers aerial trajectories across multiple altitudes and is accompanied by precise camera poses and depth information. The dataset construction adopts a three-stage alignment pipeline, which ensures spatiotemporal geometric and radiometric consistency through rotation decoupling, spatial resampling, and illumination filtering. It is specifically designed for training and evaluating panoramic generation models under drastic illumination changes and large-scale spatial transformations, thereby advancing the development of robotic application fields such as autonomous driving and unmanned aerial vehicles (UAVs).

原始信息汇总

PanoWorld 数据集详情

数据集名称: World360

数据集类型: 大规模全景视频数据集，包含真实世界全景无人机采集的视频片段和高品质模拟视频片段

数据集特性

• 提供多样化的空中轨迹，覆盖多个海拔高度
• 与现有大规模真实数据集不同（现有数据集主要包含平面街道级运动，高度信息模糊或固定），World360 提供不同海拔的多样化空中轨迹

数据采集与处理流程

世界360 数据集中包含来自真实世界无人机采集（UAV captures）和 AirSim360 模拟环境的全景视频片段。数据处理流程包括三个步骤：

1. 旋转解耦（Rotation Decoupling）：分离纯平移运动
2. 均匀空间重采样（Uniform Spatial Resampling）：标准化运动尺度
3. 光照过滤（Illumination Filtering）：确保曝光一致性

用途

• 用于评估全景世界模型在大规模空间变化和多样化光照条件下的物理一致性
• 通过实验证明 PanoWorld 方法在该数据集上显著优于其他方法

可用性

• 模型、训练代码和数据集将公开发布

搜集汇总

数据集介绍

构建方式

World360数据集通过精心设计的数据引擎构建，融合了真实世界采集与高保真仿真两条路径。真实数据源自搭载全景相机的无人机在多样化户外环境（如公园、道路、人工湖等）中采集的124段长时程全景视频，结合高精度GPS辅助惯性导航系统获取6自由度位姿信息。构建流程包含严格的时序对齐、旋转解耦与位姿噪声抑制，并采用空间均匀重采样策略，以固定物理间隔（0.05米）替代传统时间采样，消除飞行速度不均与悬停状态带来的冗余。仿真数据则借助AirSim360平台，在8种户外场景中通过层级化网格过滤与三种轨迹生成模式（多向均质机动、高覆盖自主探索、随机多目标导航）自动生成50K段具有精确控制标签的高保真序列。

特点

World360数据集独具三大显著特征：首先，它实现了真实与仿真数据的有机融合，囊括70K真实世界视频片段与50K高保真仿真序列，总计120K条高质量样本，规模远超现有同类数据集。其次，数据集突破了传统平面运动的限制，引入了多高度、多姿态的空中自由轨迹，每一帧均配备精确的相机姿态与深度信息，为评估复杂三维路径下的结构完整性提供了理想基准。最后，通过严格的旋转解耦、空间均匀重采样以及多维度光照过滤与感知质量评分双重筛选机制，确保了数据在几何、光照与时间维度上的物理一致性，为训练具有持久场景记忆的世界模型奠定了坚实基础。

使用方法

World360数据集专为全景世界模型的训练与评估而设计。在训练阶段，研究者可将其划分为训练集与测试集，利用81帧的标准片段训练运动条件生成模型，借助161帧的长序列优化几何感知记忆模块。数据集支持多阶段渐进式训练策略：首先使用LoRA适配全景领域进行微调，随后冻结视觉主干以训练稠密全景光线条件模块实现3D平移控制，最终激活记忆增强模块保障长时空间一致性。评估时，可提取90段涵盖前进、后退、侧移、垂直升降、弧线及环路等典型机动模式的测试序列，运用FID、FAED、PSNR等多个指标综合衡量分布保真度、全景视觉质量与6自由度轨迹控制精度。

背景与挑战

背景概述

World360数据集由Insta360 Research联合中国科学院自动化研究所、清华大学及武汉大学等机构于2026年提出，旨在解决全景世界模型在复杂户外场景中物理一致性不足的核心问题。现有数据集多局限于室内或平面运动环境，光照与几何条件相对稳定，难以支撑大规模空间变化与多样光照条件下的模型训练与评估。为此，研究团队构建了包含7万段真实无人机采集视频与5万段AirSim360高保真仿真片段的大规模基准，覆盖多高度、多轨迹的户外真实场景，为全景视频生成领域提供了更具挑战性的评估平台，推动了物理一致性建模的发展。

当前挑战

World360数据集面临的挑战主要体现在两个层面：其一，在全景世界模型建模中，现有方法难以在复杂户外环境下同时保证几何与光照的时空一致性，全景表示的全视野特性放大了结构漂移与纹理闪烁问题，且传统透视假设下的记忆机制在全景畸变与旋转视角变化中检索失效；其二，数据构建过程中需解决真实场景中无人机剧烈自旋、风速扰动、GPS多路径效应等传感器噪声，以及多帧之间异步时钟同步、非均匀空间采样（如悬停导致的冗余帧）和极端光照条件（过曝/欠曝）等问题，以确保每帧严格对齐精确的6自由度位姿与物理一致性。

常用场景

经典使用场景

在 panoramic 视频生成与视觉世界建模领域，World360 数据集的经典使用场景聚焦于全景动态场景的物理一致性建模。通过提供包含精确 6 自由度姿态标注的大规模实景无人机航拍视频与高保真合成数据，该数据集为训练和评估可控全景视频生成模型提供了标准化的基准平台。研究人员可利用其丰富的多海拔、复杂轨迹数据，开展运动解耦学习与辐射一致性建模等方面的研究。

解决学术问题

World360 数据集针对现有全景数据集在物理一致性评估方面的缺失，系统性地解决了复杂户外环境下几何结构与光照条件剧烈变化时模型的稳定性难题。它填补了实际场景中多高度、非平面运动数据匮乏的空白，使学术界能够对全景世界模型在空间尺度变化、光照不一致等挑战下的表现进行有效评测，并为旋转等变表征与长程记忆机制的理论探索提供了坚实的数据基石。

衍生相关工作

World360 数据集直接催生了 PanoWorld 框架的提出，该框架通过密集全景射线条件模块与几何感知记忆增强模块，实现了全景视频的高保真可控制生成。此外，基于该数据集还衍生出面向实时交互的因果强制蒸馏方法，将推理速度提升至秒级，显著优于 Matrix-3D 与 OmniRoam 等传统方法。这些工作共同推动了全景世界模型从静态受限场景向动态开放环境的范式转移。