DeepLoc, Oxford Robot-Car, APR-BeIntelli

本文介绍了一个名为APR-Transformer的模型架构，它使用图像或激光雷达数据预测绝对姿态（3D位置和3D方向）。论文中提及了三个数据集：DeepLoc、Oxford Robot-Car和APR-BeIntelli。DeepLoc是一个大规模的城市户外定位数据集，包含RGB图像和通过激光雷达SLAM系统计算的精确姿态标签。Oxford Robot-Car是一个包含激光雷达、相机、GNSS和雷达信息的多模态户外数据集，用于评估模型在各种天气、交通和行人条件下的性能。APR-BeIntelli是一个自定义数据集，由柏林工业大学DAI实验室在BeIntelli项目中收集，包含多摄像头RGB图像和同步的激光雷达点云，用于测试APR-Transformer在动态和复杂场景中的实用性。

This paper introduces a model architecture named APR-Transformer, which predicts absolute pose (3D position and 3D orientation) using image or LiDAR data. Three datasets are mentioned in this paper: DeepLoc, Oxford Robot-Car, and APR-BeIntelli. DeepLoc is a large-scale urban outdoor localization dataset containing RGB images and accurate pose labels calculated via LiDAR SLAM systems. The Oxford Robot-Car is a multimodal outdoor dataset that integrates LiDAR, camera, GNSS and radar information, and is used to evaluate model performance under various weather, traffic and pedestrian conditions. APR-BeIntelli is a custom dataset collected by the DAI Lab of Technische Universität Berlin under the BeIntelli project, which includes multi-camera RGB images and synchronized LiDAR point clouds for testing the practicality of APR-Transformer in dynamic and complex scenarios.

搜集汇总

数据集介绍

构建方式

DeepLoc、Oxford Robot-Car和APR-BeIntelli数据集的构建均基于多模态传感器数据采集，涵盖了复杂城市环境下的多样化场景。DeepLoc数据集通过自主机器人平台采集高分辨率RGB图像，并利用LiDAR-based SLAM系统生成亚厘米级精度的地面真实位姿标签。Oxford Robot-Car数据集采用自动驾驶车辆在牛津市区历时一年采集，整合了LiDAR、摄像头、GNSS和雷达数据，以覆盖不同天气和交通条件下的场景变化。APR-BeIntelli作为定制化数据集，通过配备多传感器（摄像头、LiDAR、雷达等）的自动驾驶测试车辆在柏林动态道路环境中采集，特别注重光照变化和临时施工区域等挑战性场景，其位姿标签同样通过LiDAR SLAM技术生成。

特点

这三个数据集在自动驾驶定位领域具有显著特点：DeepLoc专注于单一场景但包含多种驾驶模式，其图像数据具有高时序分辨率（20Hz）和精确的SLAM标注；Oxford Robot-Car以长期大规模数据采集著称，包含超过1000公里行驶里程的多模态数据，适用于跨天气条件的算法验证；APR-BeIntelli则强调复杂城市动态场景，包含多视角摄像头同步数据和稠密点云，特别设计了训练集与测试集在不同时间、天气条件下的采集策略以验证模型泛化能力。所有数据集均提供6-DoF位姿标注，支持绝对位姿回归任务的端到端训练。

使用方法

这些数据集主要用于评估绝对位姿回归（APR）模型的性能。研究人员可通过以下流程使用：对于DeepLoc和Oxford Robot-Car，建议按照原始论文划分标准加载图像或LiDAR数据（BEV投影/原始点云），输入到如APR-Transformer等网络中进行位置(x,y,z)和姿态(四元数)的联合回归；APR-BeIntelli需注意多摄像头数据的时空对齐，其LiDAR点云支持PointNet++等三维特征提取。评估指标采用中位数位姿误差（米）和方向误差（度），在GNSS拒止环境下可实时部署模型输出作为定位算法的初始位姿。所有数据集均兼容PyTorch等框架，并提供与Autoware.universe集成的ONNX模型转换方案。

背景与挑战

背景概述

DeepLoc、Oxford Robot-Car和APR-BeIntelli数据集是近年来在机器人定位、自动驾驶和计算机视觉领域备受关注的重要数据集。DeepLoc由德国弗莱堡大学的研究团队于2018年提出，主要用于解决城市环境下基于视觉的定位问题。Oxford Robot-Car数据集由牛津大学机器人研究团队创建，涵盖了多种天气和交通状况下的多模态数据。APR-BeIntelli则是柏林工业大学在BeIntelli研究项目中构建的定制数据集，专注于复杂城市环境中的定位挑战。这些数据集通过提供精确的位姿标注，极大地推动了基于深度学习的绝对位姿回归（APR）研究，为解决GNSS信号缺失环境下的定位初始化问题提供了重要基准。

当前挑战

这些数据集面临的主要挑战体现在两个方面：领域问题方面，视觉定位易受光照变化、天气条件和动态物体干扰，而LiDAR数据处理则面临点云稀疏性和计算复杂度高的挑战；构建过程方面，数据采集需要高精度SLAM系统生成真值位姿，多传感器同步和标定增加了复杂度，且大规模数据标注需要耗费大量资源。此外，构建具有多样性的场景（如不同天气、光照和交通状况）以保证模型泛化能力也是一项重要挑战。

常用场景

经典使用场景

DeepLoc、Oxford Robot-Car和APR-BeIntelli数据集在机器人定位、自动驾驶和计算机视觉领域具有广泛的应用。这些数据集主要用于评估和优化绝对姿态回归（APR）模型的性能，特别是在GNSS信号受限的环境中。通过提供高精度的地面真实姿态标签，这些数据集为研究人员提供了一个可靠的基准，用于测试和比较不同姿态回归算法的准确性和鲁棒性。

解决学术问题

这些数据集解决了在复杂环境中进行高精度初始姿态估计的学术难题。传统的几何方法在动态和复杂环境中往往表现不佳，而基于深度学习的姿态回归方法通过利用大规模数据集训练，显著提升了姿态估计的准确性和鲁棒性。特别是在GNSS信号受限的环境中，这些数据集为研究提供了重要的数据支持，推动了相关领域的技术进步。

衍生相关工作

这些数据集衍生了许多经典的研究工作，如PoseNet、VLocNet和HypLiLoc等。这些工作通过利用DeepLoc、Oxford Robot-Car和APR-BeIntelli数据集，进一步推动了绝对姿态回归技术的发展。例如，VLocNet++通过引入辅助语义分割任务，显著提升了姿态回归的准确性；而HypLiLoc则通过融合多模态数据，进一步优化了在复杂环境中的定位性能。