TUM monoVO dataset

TUM monoVO数据集是由慕尼黑工业大学创建，用于评估单目视觉测距和SLAM方法的跟踪精度。该数据集包含50个真实世界的序列，总计超过100分钟的视频，涵盖从狭窄的室内走廊到宽阔的户外场景等多种环境。所有序列主要包含探索性相机运动，起点和终点相同，便于通过累积漂移评估跟踪精度。数据集特别之处在于所有序列都进行了光度校准，提供了每帧的曝光时间、相机响应函数和密集镜头衰减因子。此外，数据集还提出了一种新颖的非参数渐晕校准方法，简化了校准设置。该数据集主要应用于解决自主车辆、四旋翼飞行器到虚拟和增强现实等领域中的视觉测距和地图构建问题。

The TUM monoVO dataset was created by the Technical University of Munich (TUM) to evaluate the tracking accuracy of monocular visual odometry and SLAM methods. This dataset contains 50 real-world sequences, totaling over 100 minutes of video, covering diverse environments ranging from narrow indoor corridors to expansive outdoor scenes. All sequences primarily feature exploratory camera motions, with identical start and end points, which facilitates tracking accuracy assessment via accumulated drift. A notable feature of this dataset is that all sequences have undergone photometric calibration, providing exposure time, camera response function, and dense lens attenuation factors for each frame. Additionally, the dataset proposes a novel non-parametric vignetting calibration method that simplifies the calibration setup. This dataset is mainly applied to solve visual odometry and mapping problems in fields such as autonomous vehicles, quadrotors, virtual reality (VR) and augmented reality (AR).

搜集汇总

数据集介绍

构建方式

在单目视觉里程计领域，数据集的构建需兼顾环境多样性与传感器信息完整性。TUM monoVO数据集通过部署工业级全局快门相机，在数十种室内外场景中采集了50段探索性运动序列，总时长超过100分钟。每段序列均以环回结构设计，起始与结束于同一位置，便于通过累积漂移评估跟踪精度，无需全程真值标注。数据构建过程特别注重光度校准，不仅提供每帧图像由传感器报告的实际曝光时间，还通过创新性非参数化方法标定了相机响应函数与密集镜头衰减因子，从而完整呈现图像形成过程。

使用方法

使用该数据集时，研究者可首先利用提供的C++代码读取原始图像，并进行针孔校正与光度去失真处理，以充分利用标定信息。评估算法跟踪精度时，需禁用自身的闭环检测功能，通过将算法输出的轨迹与数据集中提供的起始段和结束段真值对齐，计算尺度漂移、旋转漂移及平移漂移等误差指标，或采用更稳定的对齐误差作为综合度量。数据集还支持变体分析，例如通过调整校正图像的视场角或分辨率，模拟不同传感器配置下的算法表现。所有原始数据、校准集及评估脚本均公开提供，便于复现与扩展研究。

背景与挑战

背景概述

在计算机视觉领域，单目视觉里程计与同步定位与建图技术是自动驾驶、无人机导航及增强现实等前沿应用的核心基础。慕尼黑工业大学的研究团队于2016年推出了TUM monoVO数据集，旨在解决现有评估基准在传感器内参与数据规模方面的局限性。该数据集包含50段真实世界序列，总时长超过100分钟，覆盖从狭窄室内走廊到广阔室外场景的多样化环境。其创新之处在于提供了每帧图像的曝光时间、相机响应函数及密集镜头衰减因子等完整光度校准参数，使得算法能够充分利用传感器设计信息，而非将其视为未知噪声。通过采用基于闭环漂移的评估方法，该数据集避免了对外部高精度地面真值数据的依赖，从而支持大规模、多场景下的算法性能比较，显著推动了直接法与特征点法在视觉里程计中的深入研究。

当前挑战

TUM monoVO数据集所应对的核心挑战在于提升单目视觉里程计在复杂真实环境中的鲁棒性与精度。传统方法常因忽略自动曝光、非线性响应函数与镜头渐晕等传感器特性而引入系统误差，该数据集通过提供完备的光度校准参数，促使算法建模并融合这些因素，以优化图像形成流程。在构建过程中，研究团队面临两大难题：一是如何在不依赖外部运动捕捉系统的前提下，为多样化场景获取可靠的地面真值；他们创新性地采用首尾段闭环对齐策略，利用SLAM算法自身生成相对位姿真值，从而支持大规模数据采集。二是实现高效非参数化光度校准，为此提出了一种基于静态场景多曝光图像与平面场景序列的简易标定方法，仅需最小化设置即可恢复密集渐晕图与响应函数，确保了数据的可复现性与实用性。

常用场景

经典使用场景

在计算机视觉领域，单目视觉里程计（VO）与同步定位与建图（SLAM）算法的性能评估一直面临缺乏标准化基准的挑战。TUM monoVO数据集通过提供50个真实世界序列，涵盖从狭窄室内走廊到广阔室外场景的多样化环境，成为评估单目VO/SLAM方法跟踪精度的经典工具。其独特之处在于所有序列均经过光度校准，包含每帧的曝光时间、相机响应函数及密集镜头衰减因子，使得研究者能够在控制良好的条件下测试算法对光度变化的鲁棒性。

解决学术问题

该数据集有效解决了单目视觉里程计研究中两个关键学术问题：一是传统方法常忽略传感器内在特性（如自动曝光变化、非线性响应函数等），导致算法在真实环境中性能受限；TUM monoVO通过提供完整的光度校准参数，使算法能够建模并整合传感器知识，提升直接法的精度。二是现有数据集规模有限且缺乏多样场景，难以全面评估算法泛化能力；该数据集以大量序列覆盖数十种环境，并采用基于闭环的漂移评估方法，无需全序列地面真值，为大规模、可重复的性能比较提供了可靠框架。

实际应用

在实际应用中，TUM monoVO数据集为自动驾驶、无人机导航及增强现实等领域的传感器设计与算法优化提供了重要参考。其光度校准数据有助于开发能够充分利用传感器能力的视觉系统，例如在光照变化剧烈的室外环境中实现稳定的位姿估计。此外，数据集包含的全局快门相机和鱼眼镜头序列，模拟了真实硬件配置，使算法测试更贴近工业应用场景，为嵌入式视觉系统的性能验证与改进提供了实证基础。

数据集最近研究

最新研究方向

在单目视觉里程计领域，TUM monoVO数据集凭借其全面的光度校准特性，已成为评估算法在真实世界复杂光照条件下鲁棒性的关键基准。近年来，随着直接法和基于学习的方法的兴起，该数据集被广泛用于探索如何将传感器固有参数（如曝光时间、响应函数和渐晕效应）深度整合到视觉里程计框架中，以提升在动态光照环境下的跟踪精度和稳定性。研究热点集中在利用这些校准数据开发自适应曝光模型和光度不变特征，以应对自动驾驶和增强现实等应用中常见的剧烈光照变化挑战，推动了视觉SLAM系统从几何驱动向光电联合优化的重要演进。

相关研究论文

• A Photometrically Calibrated Benchmark For Monocular Visual Odometry

  慕尼黑工业大学 · 2016年