GV-Bench

GV-Bench数据集由南方科技大学深圳机器人与计算机视觉重点实验室创建，旨在评估长期闭环检测中的几何验证。该数据集包含六个序列，代表了不同的条件变化，如光照、季节和天气变化。数据集的构建基于三个现有的数据集，并通过精心选择和比较六种代表性的局部特征匹配方法来评估其性能。GV-Bench数据集主要应用于机器人自主导航中的长期视觉定位和闭环检测，旨在解决在复杂环境变化下的定位准确性问题。The GV-Bench dataset was developed by the Shenzhen Key Laboratory of Robotics and Computer Vision, Southern University of Science and Technology, aiming to evaluate geometric verification for long-term loop closure detection. This dataset comprises six sequences that cover diverse conditional variations including illumination, seasonal shifts and weather changes. The dataset is built upon three existing datasets, and the performance of six representative local feature matching methods is evaluated via carefully selecting and comparatively analyzing these methods on this benchmark. The GV-Bench dataset is primarily utilized for long-term visual localization and loop closure detection in robotic autonomous navigation, with the objective of mitigating the degradation of positioning accuracy under complex environmental variations.

原始信息汇总

GV-Bench: Benchmarking Local Feature Matching for Geometric Verification of Long-term Loop Closure Detection

摘要

视觉回环检测是视觉同时定位与地图构建（SLAM）中的重要模块，它将当前相机观测与先前访问过的地方关联起来。回环检测通过纠正轨迹估计中的漂移来构建全局一致的地图。然而，错误的回环检测可能是致命的，因此需要验证步骤来确保鲁棒性，通过拒绝假阳性回环来实现。几何验证是一种公认的解决方案，它利用局部特征匹配提供的空间线索来寻找真实阳性。现有的特征匹配方法主要关注长期视觉定位中的单应性和姿态估计，缺乏几何验证的参考。为了填补这一空白，本文提出了一个统一基准，针对长期条件变化下的回环检测几何验证。此外，我们评估了六种代表性的局部特征匹配方法（手工和基于学习），并进行了深入分析以指出局限性和未来方向。

新闻

• 论文已在arxiv上发布。
• 论文已被IROS 2024接受。
• 发布了图像匹配结果的可视化。
• 发布了基准（简单），请查看dataset/gt中的图像对和google drive中的图像。

安装

我们使用HLoc代码的一部分进行特征提取和匹配。 bash git clone && cd GV-Bench git submodule init git submodule update cd third_party/Hierarchival-Localization git checkout gvbench # 这是一个定制的分支版本 python -m pip install -e .

复制实验结果

我们提供了以下格式的输出结果。您可以直接使用这些结果。 bash $seq_$feature_$match.log $seq_$feature_$match.npy # 格式如下

python np.save(str(export_dir), { prob: num_matches_norm, qImages: qImages, rImages: rImages, gt: labels, inliers: inliers_list, all_matches: pointMaps, precision: precision, recall: recall, TH: TH, average_precision: average_precision, Max Recall: r_recall })

从头开始复制

为了获得标准的特征检测和匹配结果，我们建议使用hloc。

• 从google drive下载数据集序列并放在dataset/文件夹下。

• 使用hloc提取和匹配特征。

  • 提取特征：SIFT, SuperPoint, 和 DISK bash python third_party/Hierarchical-Localization/gvbench_utils.py config/${seq}.yaml --extraction

  • 匹配特征：SIFT-NN, SIFT-LightGlue (尚未实现), SuperPoint-NN, DISK-NN, SuperPoint-SuperGlue, SuperPoint-LightGlue, DISK-LightGlue, LoFTR bash

    除LoFTR外的所有方法

    python third_party/Hierarchical-Localization/gvbench_utils.py config/${seq}.yaml --matching

    LoFTR与其他方法不同

    python third_party/Hierarchical-Localization/gvbench_utils.py config/${seq}.yaml --matching_loftr

  • 图像对文件

    • 我们在dataset/gt文件夹下准备了匹配的图像对（GT）文件。
    • 确保使用定制的hloc进行特征提取和匹配 https://github.com/jarvisyjw/Hierarchical-Localization.git -b gvbench

• 评估

  • 我们提供了开箱即用的脚本

  bash cd GV-Bench/scripts bash ./evaluation <day> # 使用序列名称运行脚本：day, night, night-hard, season, season-hard, weather

基准使用

• 使用定制的局部特征进行几何验证（GV）。

  TODO

致谢

• 本工作基于hloc，感谢他们的出色工作。
• 联系：[e-mail]

搜集汇总

数据集介绍

构建方式

GV-Bench数据集的构建基于三个主要数据集：Oxford RobotCar、Nordland和UAcampus。这些数据集涵盖了不同的环境条件，包括光照、季节和天气变化。通过精心选择和组合这些数据集，GV-Bench模拟了长期视觉闭环检测中的条件变化，确保了数据集的多样性和挑战性。数据集的构建过程包括图像对的生成、特征提取和匹配，以及使用RANSAC算法进行异常值剔除，最终形成了一个包含六种不同条件序列的统一基准。

特点

GV-Bench数据集的主要特点在于其对长期视觉闭环检测中几何验证的全面评估。数据集包含了六种代表性的局部特征匹配方法，涵盖了手工特征和学习型特征，提供了对不同特征匹配算法在几何验证中的性能比较。此外，GV-Bench通过模块化设计，支持扩展和定制，便于研究人员在不同环境和条件下进行实验和算法验证。

使用方法

GV-Bench数据集的使用方法主要包括特征提取、匹配和几何验证。首先，从图像中提取局部特征并进行匹配；接着，使用RANSAC算法进行异常值剔除，计算内点数以验证潜在闭环对的正确性。数据集提供了详细的实验步骤和评估指标，如最大召回率@100精度（MR）和平均精度（AP），帮助研究人员全面评估和比较不同特征匹配方法的性能。此外，数据集的开源框架支持自定义扩展，便于研究人员进行进一步的实验和算法开发。

背景与挑战

背景概述

GV-Bench数据集由香港科技大学、南方科技大学和伦敦大学学院的研究团队共同创建，旨在评估长期视觉闭环检测中的几何验证性能。该数据集的核心研究问题是如何在长期条件变化下，通过局部特征匹配来验证潜在的闭环检测，从而提高视觉同时定位与地图构建（SLAM）系统的鲁棒性。GV-Bench的创建填补了现有特征匹配方法在几何验证方面的空白，为未来研究提供了统一的基准。

当前挑战

GV-Bench数据集面临的挑战主要包括两个方面：一是长期条件变化下的视觉闭环检测，如光照、季节和天气变化导致的图像外观差异；二是构建过程中遇到的挑战，如如何选择和处理不同条件下的图像数据，以及如何设计有效的几何验证方法。这些挑战不仅影响了闭环检测的准确性，还对特征匹配和几何验证方法的鲁棒性提出了更高的要求。

常用场景

经典使用场景

GV-Bench数据集的经典使用场景在于评估和比较不同局部特征匹配方法在长期视觉闭环检测中的几何验证性能。该数据集通过模拟真实世界中的光照、季节和天气变化，为研究者提供了一个统一的基准，以测试和优化局部特征匹配算法在复杂环境下的鲁棒性。

解决学术问题

GV-Bench数据集解决了长期视觉闭环检测中几何验证的关键学术问题，即如何在复杂的环境变化下准确识别和验证闭环。通过提供多样化的条件变化和详细的评估方法，该数据集为研究者提供了一个标准化的平台，以推动几何验证技术的发展，从而提高视觉SLAM系统的整体鲁棒性和精度。

衍生相关工作

GV-Bench数据集的提出激发了一系列相关研究工作，包括但不限于改进局部特征提取和匹配算法、开发多条件图像数据库以及探索更强大的异常值拒绝方法。此外，该数据集还促进了基于深度学习的特征匹配网络的研究，如SuperPoint和SuperGlue的结合使用，以及LoFTR等新型算法的开发和评估。