360Loc

arXiv2024-04-08 更新2024-08-06 收录

下载链接：

http://arxiv.org/abs/2311.17389v2

下载链接

链接失效反馈

官方服务：

资源简介：

360Loc是一个包含360°图像和视觉定位地面实况姿态的新基准数据集。它是首个探索跨设备视觉定位挑战的数据集，涉及360°参考帧和来自针孔、超广角鱼眼和360°相机的查询帧。

360Loc is a novel benchmark dataset containing 360° images and ground-truth poses for visual localization. It is the first dataset that explores the cross-device visual localization challenge, involving 360° reference frames and query frames captured by pinhole, ultra-wide-angle fisheye, and 360° cameras.

创建时间：

2023-11-29

搜集汇总

数据集介绍

构建方式

在视觉定位研究领域，360Loc数据集的构建采用了创新的多模态数据采集与融合策略。研究团队设计了一套便携式360度相机-激光雷达集成平台，同步捕获高分辨率全景图像与精确的点云数据。通过图优化同步定位与建图技术，结合激光雷达的束调整优化与迭代最近点算法，实现了跨昼夜场景的全局点云模型配准。进一步利用截断符号距离函数进行体素表面重建，生成网格模型并推算深度图，最终获得厘米级精度的六自由度姿态真值。这一流程有效解决了全景图像在传统运动恢复结构中面临的挑战，为跨设备视觉定位提供了可靠的基准数据。

使用方法

使用360Loc数据集进行跨设备视觉定位研究时，可采用特征匹配与绝对姿态回归两类主流方法。对于特征匹配流程，首先通过图像检索缩小搜索范围，其中可利用虚拟相机方法将查询图像重映射至全景域或反之，以消除设备间的域差异。随后，在检索到的参考图像上进行局部特征匹配，并利用提供的深度图建立2D-3D对应关系，最终通过透视n点算法结合随机抽样一致性估计相机姿态。对于绝对姿态回归方法，可将虚拟相机生成的多样化图像作为数据增强，训练端到端的姿态回归网络，以提升模型在跨设备场景下的泛化能力。数据集中提供的精确姿态真值与深度信息，支持对算法性能进行多层次、多精度的定量评估。

背景与挑战

背景概述

在视觉定位领域，便携式360°相机因其高效捕捉全景场景的能力，逐渐成为构建大规模视觉数据库的重要工具。然而，由于缺乏高质量的数据集，360°相机在视觉定位中的应用潜力尚未得到充分挖掘。为此，香港科技大学与中山大学的研究团队于2024年联合推出了360Loc数据集，旨在解决跨设备视觉定位的核心问题。该数据集首次整合了360°参考图像与多种查询图像（包括针孔、鱼眼和360°相机），通过结合激光雷达数据生成高精度的6DoF姿态真值，为全景视觉定位研究提供了关键基准。360Loc的推出不仅填补了该领域的数据空白，还为增强现实、导航和机器人技术等应用提供了新的研究视角。

当前挑战

360Loc数据集面临的挑战主要体现在两个方面：首先，在领域问题层面，跨设备视觉定位存在显著的域差距，不同相机模型（如针孔、鱼眼和360°相机）在成像模式、视场角及畸变特性上的差异，导致传统视觉定位方法在特征匹配和姿态回归时性能下降。其次，在构建过程中，数据集的创建需克服多模态数据融合的复杂性，包括360°图像与激光雷达点云的高精度对齐、昼夜环境下的姿态一致性优化，以及对称性、重复结构场景中真值生成的模糊性问题。此外，虚拟相机方法的引入虽提升了跨设备比较的公平性，但如何有效模拟不同相机的成像特性并减少域间差异，仍是技术实现上的关键难点。

常用场景

经典使用场景

在视觉定位领域，360Loc数据集为跨设备查询的全方位视觉定位提供了首个基准测试平台。该数据集通过整合360°参考图像与针孔、鱼眼及360°查询图像，构建了一个多模态的评估环境。其经典使用场景在于系统性地评估不同相机模型在复杂环境下的定位性能，尤其是在包含对称结构、重复纹理以及动态干扰的室内外场景中。研究者可利用该数据集，深入探索全方位视觉感知在提升定位鲁棒性方面的潜力，为跨设备视觉定位算法的设计与优化提供实证基础。

解决学术问题

360Loc数据集有效解决了视觉定位研究中长期存在的若干关键问题。首先，它填补了全方位视觉定位基准数据的空白，使得基于360°图像的定位算法得以系统评估。其次，数据集通过虚拟相机方法，实现了跨设备查询的公平比较，缓解了因相机模型差异导致的领域鸿沟问题。此外，该数据集针对高模糊性环境（如对称和重复结构场景）提供了丰富的测试样本，有助于揭示不同视场角对定位鲁棒性的影响。这些贡献不仅推动了跨设备视觉定位理论的发展，也为实际应用中传感器选型与算法适配提供了重要参考。

实际应用

在实际应用层面，360Loc数据集为增强现实、自主导航与机器人系统提供了重要的技术支撑。例如，在室内导航场景中，搭载鱼眼相机的机器人可利用该数据集训练的模型，在缺乏GPS信号的对称大厅中实现精准定位。同时，基于智能手机的增强现实应用能够通过跨设备定位技术，将用户拍摄的窄视场图像与预先构建的360°环境地图进行匹配，从而在复杂室内空间中提供稳定的位姿服务。这些应用显著提升了视觉定位系统在真实世界中的实用性与可靠性。

数据集最近研究