牛津日夜数据集

牛津日夜数据集是一个大规模的、以人为中心的3D数据集，旨在用于新型视图合成（NVS）和视觉重新定位，特别是在具有挑战性的照明条件下。该数据集弥补了现有数据集在真实头动、色彩和全日光照变化等方面的不足，支持两个核心基准：NVS和重新定位。数据集覆盖了超过30公里的记录轨迹和40000平方米的区域，为以人为中心的3D视觉研究提供了丰富的数据基础。该数据集利用Meta ARIA眼镜捕获以人为中心视频，并应用多会话SLAM技术来估计相机姿态，重建3D点云，并对在变化的光照条件下捕获的序列进行对齐，包括白天和夜晚。The Oxford Day-Night Dataset is a large-scale, human-centric 3D dataset developed for novel view synthesis (NVS) and visual relocalization, especially under challenging lighting conditions. It addresses the limitations of existing datasets in terms of realistic head movements, color variations and full-day illumination changes, and supports two core benchmarks: NVS and visual relocalization. The dataset spans over 30 kilometers of recorded trajectories and covers an area of 40,000 square meters, providing a rich data foundation for human-centric 3D vision research. This dataset captures human-centric videos using Meta ARIA glasses, and leverages multi-session SLAM technologies to estimate camera poses, reconstruct 3D point clouds, and align sequences captured under varying lighting conditions, including daytime and nighttime.

搜集汇总

数据集介绍

构建方式

牛津日夜数据集通过Meta ARIA眼镜采集第一人称视角视频，结合多会话SLAM技术估计相机位姿并重建3D点云，实现了不同光照条件下（包括昼夜交替）序列数据的精确对齐。数据采集覆盖牛津五个地点，总轨迹长度超过30公里，面积达40,000平方米，通过激光扫描地面实况数据验证几何精度，平均点对点误差仅6.7厘米。

特点

该数据集以极端光照变化下的自我中心3D视觉研究为核心特色，包含7,197帧夜间查询图像，规模达同类数据集Aachen Day-Night的37倍。其独特价值在于同步提供高精度激光扫描点云、六自由度运动轨迹及连续昼夜光照变化的RGB-灰度双模图像，为新型视图合成和视觉重定位任务建立了城市级复杂场景的评估基准。

使用方法

数据集支持两种标准化评测：新型视图合成任务需使用时间下采样（5×）和体素滤波（0.1-0.2米）预处理点云；视觉重定位任务则通过空间姿态过滤算法（室外1.5米/20°，室内0.5米/20°阈值）构建数据库与查询集分割。提供鱼眼原始图像与两种去畸变版本，兼容COLMAP和HLoc工具箱，并附带多会话SLAM生成的COLMAP模型文件。

背景与挑战

背景概述

牛津日夜数据集由牛津大学Active Vision Lab和Dynamic Robot Systems Group于2025年推出，旨在解决自我中心视角下极端光照条件的新型视图合成（NVS）和视觉重定位问题。该数据集通过Meta ARIA眼镜采集，结合多会话SLAM技术，提供了包含昼夜光照变化的30公里轨迹和40,000平方米场景覆盖，填补了现有数据集中真实头动、全日光变和精确几何标注的空白。其核心价值在于为智能眼镜等穿戴设备的全天候3D视觉研究建立了首个城市级基准，推动了低光环境下的场景理解技术进步。

当前挑战

该数据集针对两大领域挑战：1) 在极端光照变化下维持3D视觉任务性能，现有方法在夜间场景的NVS和重定位任务中平均精度下降37%；2) 构建过程中需克服多源传感器时空对齐、夜间SLAM位姿估计误差（平均6.7厘米）以及海量数据（49万帧）的几何一致性校验等难题。此外，数据标注依赖的激光雷达在狭窄区域失效，需设计基于AprilTag的混合标定方案，进一步增加了构建复杂度。

常用场景

经典使用场景

牛津日夜数据集在计算机视觉领域主要用于新型视图合成（NVS）和视觉重定位任务，特别是在极端光照条件下。该数据集通过Meta ARIA眼镜捕捉自我中心视频，并利用多会话SLAM技术估计相机姿态和重建3D点云，为研究者在昼夜交替的复杂环境中提供了丰富的实验数据。其经典使用场景包括在低光照条件下进行3D场景重建和视觉定位算法的性能评估。

衍生相关工作

牛津日夜数据集衍生了多项经典工作，特别是在新型视图合成和视觉重定位领域。例如，基于该数据集的研究提出了多种改进的SLAM算法和3D重建方法，以应对极端光照条件下的挑战。此外，该数据集还被用于开发更高效的视觉定位系统，如基于深度学习的场景坐标回归方法，进一步推动了计算机视觉领域的技术进步。

数据集最近研究

最新研究方向

随着智能穿戴设备的普及，全天候环境下的三维视觉任务成为研究热点。牛津日夜数据集（Oxford Day-and-Night Dataset）通过融合Meta ARIA眼镜采集的自我中心视频与多会话SLAM技术，填补了现有数据在真实光照变化、六自由度运动和精确三维几何标注方面的空白。该数据集覆盖30公里轨迹和4万平方米场景，支持新颖视图合成（NVS）和视觉重定位两大基准任务，尤其聚焦极端光照条件下的算法评估。近期研究揭示，即使在RoMA等先进特征匹配方法中，夜间查询的定位准确率较日间下降超过50%，凸显了低光环境对三维几何重建与位姿估计的严峻挑战。此外，基于3D高斯泼溅（3DGS）的NVS方法在跨光照场景中呈现几何退化现象，推动了对动态光照建模与大规模场景泛化能力的深入研究。该数据集为增强现实、自动驾驶等领域的全天候感知系统提供了关键评测平台，相关成果已应用于光照不变特征学习与神经辐射场优化等前沿方向。

相关研究论文

• Seeing in the Dark: Benchmarking Egocentric 3D Vision with the Oxford Day-and-Night Dataset

  牛津大学 · 2025年