Aachen Day-Night, RobotCar Seasons, CMU Seasons

本研究引入了三个新的户外基准数据集，包括Aachen Day-Night、RobotCar Seasons和CMU Seasons，专门用于评估在变化条件下如光照（日/夜）、天气（晴/雨/雪）和季节（夏/冬）的6自由度视觉定位。这些数据集覆盖了多种场景，如行人定位和车辆定位，以及单图像和多图像序列的定位。通过这些数据集，研究者能够首次分析这些变化条件对6自由度相机姿势估计精度的影响。数据集的创建依赖于人工标注的图像匹配和验证的地面实况姿势，确保了数据集的质量和准确性。这些数据集的应用领域广泛，旨在解决自动驾驶车辆导航和增强现实应用中的视觉定位问题。

This study introduces three novel outdoor benchmark datasets, namely Aachen Day-Night, RobotCar Seasons, and CMU Seasons, specifically designed for evaluating 6-degree-of-freedom (6-DoF) visual localization under varying conditions including illumination (day/night), weather (sunny/rainy/snowy), and seasons (summer/winter). These datasets cover diverse scenarios such as pedestrian localization and vehicle localization, as well as localization tasks with single images and multi-image sequences. With these datasets, researchers can, for the first time, analyze the impact of these varying conditions on the accuracy of 6-degree-of-freedom camera pose estimation. The creation of these datasets relies on manually annotated image matches and verified ground-truth poses, which ensures the quality and accuracy of the datasets. These datasets have broad application prospects, aiming to address visual localization challenges in autonomous vehicle navigation and augmented reality applications.

搜集汇总

数据集介绍

构建方式

在视觉定位领域，为评估算法在动态环境下的鲁棒性，Aachen Day-Night、RobotCar Seasons和CMU Seasons三个数据集的构建采用了精心设计的策略。Aachen Day-Night数据集基于现有Aachen数据集扩展，通过手动标注夜间查询图像与三维模型之间的二维-三维匹配，并利用已知相机内参估计位姿，确保了在昼夜变化条件下的精确地面真值。RobotCar Seasons数据集则利用牛津RobotCar数据集的多条件遍历数据，通过激光雷达点云对齐和手动调整，为不同天气与季节下的查询图像提供位姿真值。CMU Seasons数据集聚焦植被季节性变化，通过子地图构建与全局捆绑调整，结合手动对应标注，实现了在复杂自然场景中的高精度位姿标注。这些数据集的构建均避免了依赖特征匹配的局限性，通过人工介入与多传感器融合，确保了在光照、天气和季节变化下的可靠性。

特点

这些数据集在视觉定位研究中具有显著特点，主要体现在多样化的环境变化覆盖与高精度的六自由度位姿真值。Aachen Day-Night专注于昼夜光照差异，提供高质量夜间图像与白昼三维模型的对比；RobotCar Seasons涵盖城市场景中的多种条件，包括黎明、黄昏、雨雪及不同季节，同时包含低质量夜间图像与运动模糊挑战；CMU Seasons则强调植被随季节变化的几何与外观影响，覆盖郊区与公园环境。所有数据集均提供基于三维结构的地面真值位姿，支持从单图像到序列的多种查询模式，并通过子地图划分与条件分类，便于分析特定因素对定位精度的影响。其数据规模庞大，包含数百万三维点与特征，确保了评估的全面性与统计显著性。

使用方法

这些数据集的使用旨在系统评估视觉定位算法在变化条件下的性能。研究者可通过提供的三维模型与查询图像，测试不同方法在昼夜、天气及季节变化下的六自由度位姿估计精度。典型流程包括特征提取、二维-三维匹配、位姿求解及精度度量，支持单图像检索、结构基方法以及多图像序列定位。数据集中已划分参考与查询集，并附带详细条件标签，允许针对特定场景（如城市或植被区域）进行分析。评估时需使用提供的地面真值位姿，通过位置与方向误差阈值计算定位成功率，并可利用子地图先验或序列信息优化性能。数据集公开可用，促进了长期视觉定位研究的比较与进展。

背景与挑战

背景概述

在计算机视觉领域，视觉定位是实现自动驾驶车辆导航与增强现实应用的核心技术，其核心在于估计图像相对于三维场景模型的六自由度相机姿态。然而，实际应用场景中，视觉定位算法需应对光照变化、天气波动及季节更迭等复杂条件，这对算法的鲁棒性提出了严峻挑战。为系统评估这些因素对视觉定位精度的影响，研究团队于2018年创建了Aachen Day-Night、RobotCar Seasons与CMU Seasons三个基准数据集。这些数据集由苏黎世联邦理工学院、牛津大学机器人研究所及查尔姆斯理工大学等机构的研究人员联合构建，旨在填补长期视觉定位领域缺乏多样化条件基准的空白。通过精心设计的真实场景数据与高精度地面真实姿态，这些数据集不仅推动了视觉定位算法在变化环境下的性能评估，也为相关研究提供了重要的实验平台，促进了自动驾驶与增强现实等领域的算法进步。

当前挑战

该数据集主要针对视觉定位领域中的长期鲁棒性问题，核心挑战在于如何在不同光照、天气与季节条件下实现高精度的六自由度相机姿态估计。具体挑战包括：首先，在日间与夜间图像间建立稳定的特征匹配极为困难，因为光照差异导致局部描述符的判别性显著下降，尤其在Aachen Day-Night数据集中，夜间图像的高质量要求与日间模型的匹配成功率低形成鲜明对比；其次，构建过程中面临地面真实姿态获取的难题，由于传统运动恢复结构方法依赖特征匹配，在条件差异较大时无法直接应用，研究团队需通过人工标注二维-三维对应关系或结合激光雷达点云对齐等复杂手段来确保姿态精度，这一过程耗时且易受场景结构变化干扰。此外，数据集中植被丰富的场景（如CMU Seasons）因季节变化导致几何结构剧烈改变，进一步增加了定位的复杂性，凸显了现有局部特征在长期视觉任务中的局限性。

常用场景

经典使用场景

在计算机视觉领域，视觉定位是实现自动驾驶导航和增强现实应用的核心技术之一。Aachen Day-Night、RobotCar Seasons和CMU Seasons数据集专为评估在变化环境下的六自由度相机姿态估计而设计，其经典使用场景包括在昼夜交替、季节变换及天气变化等复杂条件下，测试视觉定位算法的鲁棒性与准确性。这些数据集通过提供在单一参考条件下构建的三维模型，以及在不同条件下采集的查询图像，为研究者提供了一个标准化的评估平台，以分析环境因素对定位精度的影响。

解决学术问题

该数据集解决了视觉定位研究中长期存在的关键问题，即算法在环境条件剧烈变化时的性能退化问题。传统方法依赖于局部特征匹配，但在光照、季节或天气差异显著时，特征描述子的判别力与不变性之间的平衡被打破，导致匹配失败。通过引入精确的人工标注地面真实姿态，这些数据集首次实现了对变化条件下六自由度姿态估计精度的量化评估，揭示了现有方法在长期定位任务中的局限性，并推动了针对更鲁棒特征表示和多图像序列定位方法的研究。

衍生相关工作

基于这些数据集，研究者们衍生出一系列经典工作，主要集中在提升视觉定位的鲁棒性和效率。例如，Active Search和City-Scale Localization等基于三维结构的方法被广泛测试以优化特征匹配策略；NetVLAD和DenseVLAD等图像检索方法则探索了全局描述子在变化条件下的有效性。此外，多图像序列定位方法如Active Search+GC和SeqSLAM被提出，利用时序或空间关联性改善姿态估计。这些工作不仅推动了局部特征和深度学习描述子的发展，还促进了语义视觉定位等新兴方向的研究，为长期视觉定位领域的进步提供了关键动力。