InFlux

InFlux是一个包含动态内参视频的基准数据集，为每个视频帧提供真实的内参标注。该数据集由386个高分辨率室内和室外视频组成，总计超过143,000个标注帧。这些视频展示了动态相机内参变化、多样化的场景和相机运动。为了确保每帧内参的准确性，我们构建了一个全面的校准实验查找表，并扩展了Kalibr工具箱以提升其准确性和鲁棒性。InFlux旨在为研究提供真实世界的动态内参视频，以便评估现有方法在预测相机内参方面的性能。InFlux is a benchmark dataset containing videos with dynamic camera intrinsics, which provides ground-truth intrinsic parameter annotations for each video frame. This dataset consists of 386 high-resolution indoor and outdoor videos, totaling over 143,000 annotated frames. These videos showcase dynamic camera intrinsic variations, diverse scenarios, and various camera motions. To ensure the accuracy of per-frame intrinsic parameters, we constructed a comprehensive lookup table for calibration experiments and extended the Kalibr toolbox to improve its accuracy and robustness. InFlux aims to provide real-world videos with dynamic camera intrinsics for research, so as to evaluate the performance of existing methods in camera intrinsic parameter prediction.

搜集汇总

数据集介绍

构建方式

在动态相机内参标定领域，InFlux数据集通过创新性地构建镜头元数据查找表实现逐帧真值标注。研究团队采用ARRI Alexa Mini相机配合两款变焦镜头，在拍摄过程中同步记录每帧的镜头焦距和焦点距离参数。针对不同视场空间范围，分别采用标定板与无人机校准方案：中小视场使用多尺寸AprilGrid标定板进行网格化采样，大视场则通过搭载RTK定位系统的无人机作为动态标定目标。通过改进的Kalibr工具箱处理采集数据，建立镜头参数与内参矩阵的映射关系，最终通过双线性插值与三角剖分实现任意参数组合的内参推算。

特点

该数据集显著特征在于其真实场景下的动态内参变化特性。包含386段高分辨率视频的14.3万帧数据，涵盖126个室内场景与260个室外环境，呈现办公室、自然景观、城市街区等多样化场景。相机运动模式包含静态拍摄、平稳平移、快速扫掠等复杂轨迹，内参变化则包含单调调整、周期性波动与非规律性扰动等多种模式。特别收录了影视级运镜手法如推拉变焦与轨道移动，以及基于场景内容的动态对焦调整，真实还原专业摄影中的光学特性变化。所有帧均提供经过严格验证的内参矩阵真值，其标注精度通过留一法交叉验证确保误差控制在0.5%以内。

使用方法

该数据集主要服务于动态相机内参估计算法的评估与优化。研究者可通过提取视频序列中的逐帧图像，与对应的内参真值进行对比分析。基准测试包含参数误差度量与投影误差评估：前者计算焦距与主点参数的百分比偏差，后者通过采样三维点云在真值与预测内参下的投影差异计算端点误差。使用时应区分验证集与测试集，验证集提供原始元数据与插值内参以供算法开发，测试集仅包含严格验证的真值内参用于最终评估。数据集支持现有Colmap、DroidCalib等工具链的直接接入，亦可作为端到端深度学习模型的训练样本。

背景与挑战

背景概述

InFlux数据集由普林斯顿大学研究团队于2025年提出，旨在解决动态相机内参标定的核心问题。传统三维视觉算法通常假设视频中相机内参恒定，但实际场景中变焦镜头和自动对焦会导致内参持续变化，限制了算法的鲁棒性。该数据集通过构建镜头元数据与内参的映射表，首次为386段真实世界视频提供逐帧精确内参标注，涵盖14.3万帧室内外场景，推动了动态内参研究领域的发展。

当前挑战

该数据集主要面临双重挑战：在领域问题层面，现有内参预测方法如COLMAP和GeoCalib难以适应动态内参场景，其恒定内参假设导致投影误差高达300像素以上；在构建过程中，需克服逐帧标定的计算瓶颈，通过无人机标定与改进的Kalibr工具解决大视场标定难题，并建立镜头元数据插值模型以平衡精度与效率。

常用场景

经典使用场景

在计算机视觉领域，动态相机内参的精确追踪是实现从二维视频理解三维场景的关键环节。InFlux数据集通过提供每帧真实内参标注，为研究动态内参的视频分析任务奠定了重要基础。该数据集最经典的使用场景在于评估和开发能够处理动态内参的相机标定算法，特别是在真实世界视频中相机焦距和焦点距离持续变化的复杂环境下，为三维重建、同时定位与地图构建等任务提供可靠的基准测试平台。

解决学术问题

该数据集有效解决了传统三维算法中恒定内参假设与真实视频动态特性不匹配的核心学术问题。通过构建包含386个高分辨率视频、14.3万帧标注数据的基准集，InFlux填补了动态内参评估数据的空白，显著提升了三维视觉算法在真实场景中的适用性。其意义在于推动计算机视觉领域从静态内参模型向动态内参建模的范式转变，为开发适应真实世界相机行为的鲁棒算法提供了关键支撑。

衍生相关工作

基于InFlux数据集评估的基线方法揭示了当前动态内参预测技术的局限性，催生了一系列改进算法的研究。GeoCalib、WildCamera等单帧内参预测方法在该数据集上的表现分析，推动了面向视频序列的时序一致性内参预测模型的发展。同时，该数据集为联合优化内参估计与深度估计的多任务学习框架提供了验证平台，促进了端到端三维视觉系统的创新。