360DVO dataset

360DVO数据集是由香港科技大学团队构建的首个面向单目360度相机的真实世界视觉里程计基准数据集，包含20个不同场景的高动态范围视频序列，涵盖野外、室内、城市及航拍视角等多种复杂环境。该数据集针对现有合成数据缺乏真实挑战的问题，专门采集了包含剧烈运动（如运动模糊、频繁旋转）和光照变化的实景数据，旨在为深度学习驱动的全景视觉里程计算法提供更贴近实际应用的评估平台。数据通过便携式360度相机采集，并以等距柱状投影格式存储，为相机位姿估计和三维重建任务提供了高质量的基准真值。

The 360DVO dataset is the first real-world visual odometry benchmark dataset for monocular 360° cameras, constructed by the team from The Hong Kong University of Science and Technology. It contains 20 high dynamic range (HDR) video sequences across diverse scenarios, covering complex environments such as outdoor fields, indoor spaces, urban areas and aerial viewpoints. Addressing the problem that existing synthetic datasets lack real-world challenges, this dataset specifically collects real-world data featuring intense motions (e.g., motion blur and frequent rotations) and illumination variations. It aims to provide a more practical evaluation platform for deep learning-driven panoramic visual odometry algorithms. The data is collected via a portable 360° camera and stored in the equirectangular projection format, providing high-quality ground truth for camera pose estimation and 3D reconstruction tasks.

原始信息汇总

360DVO: Deep Visual Odometry for Monocular 360-Degree Camera

数据集基本信息

• 数据集名称：360DVO
• 提出者/作者：Xiaopeng Guo, Yinzhe Xu, Huajian Huang, Sai-Kit Yeung
• 机构：The Hong Kong University of Science and Technology
• 发表会议/期刊：IEEE Robotics and Automation Letters (RA-L)
• 发表年份：2026
• 论文状态：已发布在arXiv
• 论文arXiv编号：2601.02309
• 论文arXiv地址：https://arxiv.org/abs/2601.02309
• 代码与数据：提供论文、补充材料、代码和数据集链接

数据集概述

• 核心贡献：提出了第一个基于深度学习的全向视觉里程计（OVO）框架，并贡献了一个新的真实世界OVO基准数据集。
• 方法名称：360DVO
• 关键模块：
  • 失真感知球面特征提取器（DAS-Feat）：自适应地从360度图像中学习抗失真特征。
  • 全向可微光束法平差模块（ODBA）：利用稀疏特征块建立约束以进行有效的姿态估计。
• 输入数据：连续的360度RGB帧序列。
• 主要特点：通过SphereResNet提取抗失真特征，允许裁剪块而不变形；通过循环网络估计光流；在ODBA模块中联合优化当前帧的姿态和深度。

实验与评估

• 评估基准：
  • 新贡献的真实世界OVO基准数据集（360DVO数据集）。
  • 公开合成数据集：TartanAir V2 和 360VO。
• 对比基线：包括360VO和OpenVSLAM等最先进基线。
• 性能表现：
  • 在鲁棒性上提升50%。
  • 在准确性上提升37.5%。
  • 在360DVO数据集上运行稳定，变异最低。
• 评估指标：轨迹精度（ATE/RPE(t)/RPE(r)）和跟踪成功率（%）。
• 变体：360DVO (fast) 使用较低分辨率的图像作为输入，同时保持更稀疏的采样块。

搜集汇总

数据集介绍

构建方式

在全向视觉里程计研究领域，现有合成数据集在真实场景复杂性方面存在局限。为弥补这一空白，360DVO数据集通过整合多源真实世界视频构建而成。其采集流程涵盖三个主要来源：从360VOTS数据集中筛选出符合严格VO适用性标准的3个序列；从互联网收集15段涵盖极端场景（如雪地、夜间、拥挤市场）的视频；以及2段在香港电车上自主采集的长序列。所有原始视频均经过标准化处理，统一为10 FPS帧率和3840×1920分辨率，并优先选择长度充足且具有连续自运动的序列以提升VO跟踪适用性。针对野外视频缺乏真实运动轨迹的问题，研究团队采用Agisoft Metashape软件通过运动恢复结构技术重建伪真实轨迹，并通过在TartanAirV2数据集上的对比验证了该方法的准确性。最终构建的数据集包含20个序列，平均长度约1000帧，并依据轨迹复杂度和环境动态性划分为简单与困难两个子集。

特点

该数据集的核心特征在于其对真实世界挑战的全面覆盖与系统化分层设计。在场景多样性方面，数据集囊括了野外、室内、城市及航拍视角等多种环境类型，突破了传统合成数据集的环境局限性。其挑战性设计尤为突出，不仅包含了剧烈相机运动（如运动模糊、频繁旋转、复杂轨迹），还涵盖了动态光照条件（如曝光不足或过度曝光）等实际应用中常见的干扰因素。数据集通过明确的简单与困难子集划分，实现了对视觉里程计系统鲁棒性的分层评估：简单序列主要呈现静态场景中的线性运动，而困难序列则集成了激进旋转、快速光照变化（如进入隧道）以及动态遮挡（如人群、植被）等复合挑战。这种多领域覆盖与显式挑战分层机制，为系统评估VO方法在真实扰动下的性能提供了严谨的基准。

使用方法

该数据集主要用于评估单目全向视觉里程计系统的性能，特别侧重于在真实复杂场景下的鲁棒性与准确性验证。在使用时，研究者可将360DVO数据集作为基准测试平台，与现有合成数据集（如TartanAir V2和360VO）形成互补。评估流程通常涉及将OVO方法在数据集的所有序列上运行，并采用绝对轨迹误差、平移相对位姿误差和旋转相对位姿误差等标准度量指标进行定量分析。数据集的简单与困难子集划分允许进行分层性能分析，从而深入理解算法在不同挑战级别下的行为特性。此外，为公平比较不同视野的系统，研究者可从全向图像中提取90度视野的透视图像分支，用于评估传统针孔相机方法，从而将宽视野的益处与算法性能解耦。数据集的伪真实轨迹虽通过SfM软件生成，但其在TartanAirV2上的验证表明具有较高的可靠性，可作为监督学习或系统评估的参考标准。

背景与挑战

背景概述

全景视觉里程计（OVO）旨在利用360度相机提供的全向视野信息，克服传统透视相机在视觉里程计（VO）任务中的视野局限。然而，现有的OVO方法多依赖于手工特征或光度目标，在剧烈运动、光照变化等复杂场景中鲁棒性不足。为应对这一挑战，香港科技大学的研究团队于2020年提出了首个基于深度学习的全景视觉里程计框架360DVO，并同步构建了配套的360DVO数据集。该数据集作为首个面向真实世界场景的大规模全景视觉里程计基准，旨在为深度学习模型在复杂环境下的性能评估提供关键支撑，推动了全景视觉定位技术向实用化迈进。

当前挑战

360DVO数据集致力于解决全景视觉里程计领域的两大核心挑战。在领域问题层面，其核心挑战在于如何从具有强烈非线性畸变的360度全景图像中，稳定且准确地估计相机的六自由度运动轨迹，尤其是在存在剧烈旋转、动态光照、运动模糊及动态遮挡的真实复杂场景下。在数据集构建过程中，挑战主要源于真实世界数据的获取与标注：一方面，需要从多样化的真实环境（如野外、室内、城市、空中视角）中采集包含极端运动与光照条件的视频序列；另一方面，由于缺乏真实的运动轨迹真值，需通过运动恢复结构（SfM）软件生成高精度的伪真值，这一过程的准确性验证与一致性保障构成了显著的技术难点。

常用场景

经典使用场景

在视觉里程计领域，360DVO数据集作为首个专为单目360度相机设计的深度学习基准，其经典使用场景聚焦于评估和验证全向视觉里程计系统的性能。该数据集通过提供真实世界环境下采集的20个序列，涵盖了从静态室内到动态户外、从平稳直线运动到剧烈旋转的多样化场景，为研究人员测试算法在光照突变、运动模糊和动态遮挡等挑战性条件下的鲁棒性提供了标准化平台。

衍生相关工作

围绕360DVO数据集，学术界衍生了一系列经典研究工作，主要集中在全向视觉特征提取和位姿优化框架的改进上。例如，基于其提供的真实世界序列，研究者进一步探索了球形卷积网络的轻量化设计，以提升嵌入式设备上的实时性能；同时，该数据集也促进了全向可微分束调整技术的演进，推动了如SC-OmniGS等结合神经辐射场的新型重建方法的发展，这些工作共同深化了全向视觉里程计的理论基础与应用边界。

数据集最近研究

最新研究方向

在全景视觉里程计领域，360DVO数据集的推出标志着面向真实复杂场景的评估基准迈入新阶段。该数据集通过整合多源真实世界视频序列，涵盖室内外、动态光照及剧烈运动等挑战性条件，为深度学习驱动的全景视觉里程计系统提供了关键验证平台。当前研究聚焦于利用该数据集推动基于球形卷积网络的畸变感知特征提取技术发展，并探索可微分光束法平差模块在边缘设备上的轻量化部署，以应对自动驾驶与增强现实中实时定位的鲁棒性需求。这些进展不仅提升了系统在动态环境中的姿态估计精度，也为跨模态传感器融合与大规模场景重建提供了新的实验依据。

相关研究论文

• 360DVO: Deep Visual Odometry for Monocular 360-Degree Camera

  香港科技大学·综合系统与设计部; 香港科技大学·计算机科学与工程系; 香港科技大学·海洋科学系 · 2026年