NCLT 和 Oxford Radar RobotCar 数据集

NCLT数据集包含了在15个月内录制的27个会话，而Oxford Radar RobotCar数据集则提供了长时间序列的LiDAR和环视RGB图像。这些数据集用于验证所提出方法的有效性，特别是在处理长期环境变化方面的鲁棒性。通过使用DINOv2视觉基础模型提取的点描述符，该方法能够在传统配准算法中找到稳健的点对应关系，从而实现精确的3D定位。

The NCLT dataset consists of 27 sessions recorded over a 15-month period. The Oxford Radar RobotCar dataset provides long-term sequential LiDAR data and surround-view RGB images. These datasets are used to validate the effectiveness of the proposed method, particularly its robustness against long-term environmental changes. By leveraging point descriptors extracted from the DINOv2 visual foundation model, the proposed method can identify robust point correspondences within traditional registration algorithms, thereby achieving accurate 3D localization.

搜集汇总

数据集介绍

构建方式

NCLT 和 Oxford Radar RobotCar 数据集的构建方式是基于长期场景下的激光雷达扫描与三维地图的配准问题。该数据集通过收集不同时间、季节和环境条件下的激光雷达扫描数据以及相应的环视 RGB 图像数据，来模拟现实世界中的长期环境变化。数据集的构建考虑了时间上的差异，例如地图数据可能比扫描数据早一年以上记录，以及环境变化，如季节性变化或持续建设。这种构建方式使得数据集能够反映真实世界中的长期场景变化，为研究长期场景下的激光雷达配准问题提供了宝贵的资源。

特点

NCLT 和 Oxford Radar RobotCar 数据集的特点在于其长期性和环境变化的多样性。数据集包含了跨越多个季节和天气条件下的激光雷达扫描数据，以及相应的环视 RGB 图像数据。这种长期性和环境变化的多样性使得数据集能够模拟现实世界中的长期环境变化，为研究长期场景下的激光雷达配准问题提供了丰富的实验数据。此外，数据集还包含了全球位姿数据，这些数据在记录过程中是一致的，为研究提供了额外的参考和验证。

使用方法

NCLT 和 Oxford Radar RobotCar 数据集的使用方法包括提取点云描述符、进行点云配准和评估配准结果。首先，从环视 RGB 图像数据中提取 DINOv2 特征作为点云描述符，并将这些描述符附加到点云上。然后，使用传统的配准算法，如 RANSAC 或 ICP，将点云与三维地图进行配准。最后，通过评估配准结果的相对平移误差、相对旋转误差和配准召回率等指标，来评估配准算法的性能。这种使用方法能够有效地评估配准算法在长期场景下的性能，并为进一步研究和改进配准算法提供依据。

背景与挑战

背景概述

在机器人导航与定位领域，激光雷达点云配准是一项基础任务。点云配准的关键在于利用点描述符识别鲁棒的点对应关系。然而，在涉及领域转换、季节变化和点云结构变化等场景下，这一步骤变得极具挑战性。这些因素对传统手工制作和基于学习的方法都有重大影响。在这篇论文中，研究人员提出了一种新的方法，使用DINOv2特征作为点描述符，这些特征是通过环绕视图图像获得的。实验结果表明，将这些描述符与传统的配准算法（如RANSAC或ICP）相结合，即使在地图数据记录超过一年之后，也能实现LiDAR扫描与3D地图的鲁棒6DoF对齐。该方法无需针对特定领域进行重新训练，且对点云结构无依赖性，能够有效地处理稀疏LiDAR扫描和密集3D地图。此外，利用额外的摄像头数据，该方法在NCLT和Oxford RobotCar数据集上实现了比最佳基线更高的配准召回率。研究人员公开了配准基准和代码，为长期地图配准研究提供了有价值的资源。

当前挑战

点云配准的主要挑战在于识别可靠的点对应关系，特别是在涉及领域转换、季节变化和点云结构变化等复杂场景下。此外，构建过程中遇到的挑战还包括点描述符的泛化能力，以及在不同训练和测试领域之间进行有效匹配的能力。尽管基于学习的描述符通常表现出更高的表达能力，但它们往往无法有效地泛化到训练领域之外，并且在不同的点云表示（如RGB-D数据与LiDAR扫描）之间进行匹配时表现不佳。此外，融合激光雷达和摄像头数据时，需要解决准确的外部校准和时间同步等问题。这些挑战都需要研究人员在未来的研究中进一步探索和解决。

常用场景

经典使用场景

NCLT 和 Oxford Radar RobotCar 数据集主要用于激光雷达扫描与三维地图的配准。在自动驾驶、机器人导航和地图构建等领域，激光雷达扫描与三维地图的精确配准是关键任务。该数据集提供了大量的激光雷达扫描数据以及对应的环绕视图图像数据，为研究人员提供了丰富的实验材料，以评估和改进激光雷达配准算法的性能。

衍生相关工作

NCLT 和 Oxford Radar RobotCar 数据集衍生了许多相关的研究工作。例如，一些研究工作基于该数据集提出了新的点云配准算法，如基于深度学习的点云配准算法。这些算法可以更好地处理点云中的噪声、缺失和异常值，从而提高配准的准确性和鲁棒性。此外，还有一些研究工作基于该数据集进行了激光雷达与视觉传感器融合的探索，以提高自动驾驶车辆在复杂环境中的感知能力。

数据集最近研究

最新研究方向

近年来，在机器人地图构建和定位领域，激光雷达（LiDAR）注册技术取得了显著的进展。LiDAR注册技术是将两个点云对齐以计算它们相对的3D变换，这在包括LiDAR里程计、闭合回路注册和基于地图的定位在内的众多机器人应用中起着关键作用。在本文中，我们重点讨论基于地图的定位，这不仅概括了上述其他任务，而且对于提高移动机器人在预存在地图数据的环境中效率和自主性至关重要。尽管位置识别或GNSS读数可以提供一个近似初始估计，但它们的精度通常不足以获得相对于地图的精确3D姿态。相比之下，全局点云注册可以提供准确的3D定位，但需要识别点云之间可靠的点对应关系。这些对应关系通常通过迭代源点云中的所有点来建立，以确定目标帧中最相似的对应点。相似性使用点描述符进行评估，点描述符是点的抽象特征表示，例如，编码其局部环境的几何形状。在扫描到地图的注册中，点描述符必须尽可能独特，因为潜在的组合数量随着扫描和地图中点的数量O(m·n)增长。此外，由于季节性变化或持续施工等环境随时间的变化，需要能够适应这些变化的点描述符，以便长期应用。在本文中，我们通过利用最近视觉基础模型的进展来解决长期扫描到地图的注册任务。我们的主要贡献是演示了使用DINOv2特征作为点描述符可以找到高度稳健的点对应关系。我们认为，使用额外的视觉模态不会造成很大负担，因为这种组合是移动机器人中常见的传感器设置，并且与LiDAR相比，相机相对便宜。我们方法的关键思想是利用最近视觉基础模型（如DINOv2）相对于3D空间中操作的网络具有更好的泛化能力。此外，我们的方法因此对点云的形状是无关的，能够在稀疏LiDAR扫描和密集3D体素地图之间进行对应关系搜索。使用基于DINOv2的点描述符有效地允许在点之间进行隐式语义匹配，并且重要的是，不需要重新训练域内描述符网络。我们提出三个主张：首先，我们演示了将这些描述符与传统的注册算法（如RANSAC或ICP）相结合，即使在地图记录一年多之后，也能促进稳健的3D定位。其次，尽管概念上简单，但我们的方法明显优于更复杂的基线技术。第三，我们的方法对自创建地图以来发生的环境随时间的变化具有鲁棒性。通过广泛的实验，我们展示了我们的方法在NCLT和牛津雷达机器人汽车数据集上的召回率比最佳基线分别提高了+24.8和+17.3。为了促进可重复性和未来对长期地图注册的研究，在接受后，我们将发布我们的代码以及重新创建实验中评估场景的说明。据我们所知，这项工作首次提出了将视觉基础模型与传统的LiDAR注册技术相结合的方法。

相关研究论文

• LiDAR Registration with Visual Foundation Models

  弗莱堡大学, 苏黎世大学, 纽伦堡技术大学 · 2025年