Princeton365

Princeton365是一个包含365个视频的大型多样化数据集，这些视频具有准确的相机姿态。我们的数据集通过引入一种新颖的地面真实收集框架，弥合了当前SLAM基准测试在准确性和数据多样性之间的差距，该框架利用校准板和360°相机。我们收集了室内、室外和物体扫描视频，具有同步的单目和立体RGB视频输出以及IMU。我们进一步提出了一种新的场景规模感知SLAM评估指标，该指标基于相机姿态估计误差引起的运动流。与当前指标相比，我们的新指标允许比较不同场景中SLAM方法的性能，而不是像平均轨迹误差（ATE）这样的现有指标，这允许研究人员分析他们方法的失效模式。我们还提出了一个新的新颖视图合成基准，涵盖了当前NVS基准未涵盖的情况，例如具有360°相机轨迹的完全非朗伯场景。请访问princeton365.cs.princeton.edu以获取数据集、代码、视频和提交。Princeton365 is a large-scale diverse dataset comprising 365 videos with accurate camera poses. Our dataset bridges the gap between accuracy and data diversity in current SLAM benchmarks by introducing a novel ground-truth collection framework that leverages calibration boards and 360° cameras. We collected indoor, outdoor, and object scan videos with synchronized monocular, stereo RGB video outputs and IMU data. We further propose a novel scene-scale-aware SLAM evaluation metric based on motion flow induced by camera pose estimation errors. Compared to existing metrics such as the Average Trajectory Error (ATE), our new metric enables performance comparison of SLAM methods across different scenes, allowing researchers to analyze the failure modes of their approaches. We also introduce a novel view synthesis (NVS) benchmark that covers scenarios not addressed by current NVS benchmarks, such as fully non-Lambertian scenes with 360° camera trajectories. Please visit princeton365.cs.princeton.edu to access the dataset, code, videos, and submission portal.

搜集汇总

数据集介绍

构建方式

Princeton365数据集构建基于一种新颖的真值采集框架，突破了传统SLAM基准在精度与多样性之间的权衡。首先，研究者在场景中布置带有独特标识的校准板，并使用360度全景相机同时录制用户视角和地面真值视角。用户视角供SLAM或新视角合成方法使用，而地面真值视角仅拍摄校准板，用于估计相机位姿。通过构建校准板的位姿图，结合多板PnP算法进行初始化，并利用Bundle PnP优化方法最小化重投影误差，最终获得毫米级精度的六自由度相机轨迹。整个过程在新环境中仅需约五分钟即可完成设置，实现了精度、可扩展性与场景多样性的统一。

特点

该数据集包含365个独特视频序列，涵盖物体扫描、室内长序列和户外长序列三大类，总计超过210万帧、近10小时录制时长。其核心特点在于兼具毫米级定位精度与丰富的场景多样性，包括非朗伯面、动态物体、光照变化和快速运动等挑战性案例。数据提供单目、立体RGB视频及IMU数据，并创新性地引入基于诱导光流的评估指标，该指标考虑场景尺度，允许跨轨迹的性能比较。此外，针对新视角合成任务，数据集中包含360度环绕非朗伯物体的轨迹，填补了现有基准在完全非朗伯场景上的空白。

使用方法

使用Princeton365时，研究者可直接下载视频序列及对应的真值位姿。对于SLAM评估，算法在用户视角上运行，输出估计轨迹后，通过诱导光流指标与真值轨迹对比，该指标基于立体相机获取的深度分布进行数值积分，可计算流动AUC分数。对于新视角合成，数据集同时提供COLMAP估计和本真值两种位姿选项，便于对比。数据时间戳已通过激光闪烁同步，立体深度图与IMU数据直接可用。研究者可访问项目网站下载完整数据集、代码及提交评估结果，排行榜默认采用复合分数（流动AUC与覆盖率的调和平均值）进行方法排序。

背景与挑战

背景概述

Princeton365数据集由普林斯顿大学Jia Deng研究团队于2025年创建，旨在解决当前SLAM基准在相机位姿精度与数据多样性之间的固有矛盾。该数据集包含365段视频，涵盖室内、室外及物体扫描三大场景，总时长超过9小时，帧数逾200万，通过创新的标定板与360°相机联合采集框架，实现了毫米级位姿精度与6自由度完整运动轨迹。研究团队还提出了基于诱导光流的新型评估指标，突破了传统平均轨迹误差（ATE）无法跨场景比较的局限，为SLAM领域的方法评估提供了更具普适性的度量标准。该数据集同时构建了极具挑战性的新颖视图合成基准，首次覆盖包含大量非朗伯体物体的360°环绕轨迹，对相关领域产生了深远影响。

当前挑战

该数据集面临的核心挑战在于：其一，现有SLAM基准在高精度与大规模多样性之间存在不可调和的矛盾——高精度采集方案（如运动捕捉系统）受限于室内小场景且部署繁琐，而大规模方案（如KITTI、NCLT）虽覆盖长距离却受限于厘米级精度和低自由度运动（通常仅4自由度），Princeton365需在毫米级精度与365段多样化场景之间实现突破性平衡。其二，构建过程中需克服多传感器同步难题，包括360°相机与立体相机的时间对齐、各视角间的相对位姿标定（因视野不重叠而无法使用常规PnP方法），以及如何设计可快速部署（约5分钟）且不引入偏见的标定板采集方案——既要确保标定板被地面真相相机捕获，又要避免用户视角干扰SLAM方法。此外，数据集还需应对极端光照变化、动态物体、无纹理表面及快速相机运动等复杂场景，以确保基准的充分挑战性。

常用场景

经典使用场景

Princeton365数据集在同步定位与地图构建（SLAM）领域扮演着举足轻重的角色，为评估视觉里程计和SLAM算法的性能提供了前所未有的基准。其核心用途在于，通过提供涵盖室内、室外及物体扫描三大类共计365段高精度六自由度相机位姿视频，使研究者能够在多样化场景中检验算法在相机轨迹估计上的鲁棒性与精确度。尤为重要的是，该数据集引入了一种基于诱导光流的新颖评价指标，能够消除场景尺度差异对评估结果的影响，使得不同轨迹间的算法性能对比成为可能，从而深刻揭示了在非朗伯体、动态物体、光照变化及快速相机运动等挑战性条件下的算法失效模式。

实际应用

Princeton365数据集的实际应用场景极为广泛，尤其在增强现实（AR）、机器人自主导航与三维重建等领域具有深远价值。例如，当AR系统需要在复杂光线或动态环境中将虚拟物体精准叠加至真实场景时，该数据集提供的具有毫米级精度的全六自由度轨迹，可直接用于训练和验证SLAM算法在真实部署中所需的定位稳健性。同时，其包含的多种非朗伯体物体与360度环绕扫描数据，为工业级逆向工程和沉浸式内容创建中的新视角合成技术提供了极具挑战性的测试平台，从而推动相关技术向更高真实感与可靠性迈进。

衍生相关工作

Princeton365数据集的问世催生了一系列具有里程碑意义的衍生工作。首先，其构建的位姿真值获取管线——结合Bundle PnP优化与标定板姿态图——本身即构成一套可复用的高精度位姿估计方法论，为后续大规模户外数据集的采集树立了新范式。其次，该数据集被直接用于评估多种前沿SLAM方法（如DPVO、DPV-SLAM、ORB-SLAM3等），揭示了这些算法在长轨迹、非朗伯体及极端动态场景下的性能瓶颈，直接推动了针对这些脆弱环节的改进工作。更进一步，它所设立的新视角合成基准挑战，尤其在非朗伯体360度扫描场景中，促使NeRF和3D高斯泼溅等模型研究者探索更鲁棒的渲染策略，激发了关于如何克服COLMAP在复杂材质下位姿估计失败这一长期痼疾的系列研究。