InFlux++

InFlux++是由普林斯顿大学研究团队构建的综合性数据套件，旨在解决动态相机内参预测任务中训练数据稀缺和基准测试多样性不足的难题。该数据集包含两个核心部分：InFlux++ Synth是一个大规模程序化生成的合成视频数据集，涵盖1841个高分辨率视频、超过44.1万帧标注数据，通过动态变焦与调焦机制实现丰富的内参多样性，并模拟了镜头畸变、散焦模糊等光学效应；InFlux++ Real则扩展了原有真实世界基准，包含334个视频、超过51.4万帧新采集数据，覆盖更广泛的室内外场景与自然活动。数据集通过合成数据监督与真实基准验证相结合的方式，为三维视觉算法在动态内参视频中的鲁棒性提升提供了关键训练资源与评估标准。InFlux++ is a comprehensive data suite developed by a research team at Princeton University, aiming to address the challenges of scarce training data and insufficient benchmark diversity in the task of dynamic camera intrinsic parameter prediction. This dataset consists of two core components: InFlux++ Synth is a large-scale procedurally generated synthetic video dataset, which includes 1841 high-resolution videos and over 441,000 annotated frames. It achieves rich intrinsic parameter diversity through dynamic zoom and focus adjustment mechanisms, and simulates optical effects such as lens distortion and defocus blur. InFlux++ Real expands the original real-world benchmark, containing 334 videos and over 514,000 newly collected frames, covering a wider range of indoor and outdoor scenes and natural activities. By combining synthetic data supervision and real-world benchmark validation, this dataset provides critical training resources and evaluation criteria for improving the robustness of 3D vision algorithms in dynamic intrinsic parameter videos.

原始信息汇总

• 数据集名称：InFlux 和 InFlux++
• 核心任务：用于估计动态相机内参（Dynamic Camera Intrinsics）的数据集套件，包含真实世界基准和大型合成训练集。
• 数据集组成：
  • InFlux++（ECCV 2026 接收）：
    • InFlux++ Synth：大规模程序化生成的合成视频数据集，包含 1841 个高分辨率视频、44.1 万+ 标注帧。提供每帧真实内参、部分子集还包括相机位姿、深度和表面法线。视频通过随时间变化相机变焦和对焦实现丰富内参多样性，包含动态物体、镜头畸变和散焦模糊等真实感渲染效果。
    • InFlux++ Real：大规模真实世界基准，扩展自 InFlux，包含 334 个高分辨率视频、51.4 万+ 新捕获帧，覆盖更广泛的场景和相机运动。
  • InFlux（NeurIPS 2025 接收）：真实世界基准，包含 386 个高分辨率室内外视频、14.3 万+ 标注帧，具有动态内参变化。通过全面的校准实验查找表和扩展 Kalibr 工具箱确保每帧内参准确性。
• 数据下载：提供 InFlux-Synth 和 InFlux-Real 两个子集（链接在页面中）。
• 主要发现：在 InFlux++ Synth 上微调现有内参预测方法，能一致提升 InFlux++ Real 和 InFlux 上的焦距估计性能，表明合成监督是 RGB 基础内参预测有前景的方向。

搜集汇总

数据集介绍

构建方式

InFlux++由两大核心组件构成，以应对动态相机内参估计领域的训练数据匮乏与评测基准局限。其中，InFlux++ Synth是一个基于Infinigen程序化生成引擎构建的大规模合成视频数据集，通过扩展渲染管线，在1841段高分辨率视频中生成超过44万帧精确的逐帧内参真值。其构建过程巧妙利用薄透镜模型，通过有界随机游走算法对镜头焦距和对焦距离进行时序变化，并引入布朗-康拉迪镜头畸变与散焦模糊等真实光学效果，部分子集还提供了相机位姿、深度及表面法向量的标注。InFlux++ Real则是在InFlux基础之上大幅扩展的真实世界基准，通过搭载记录镜头元数据的专业变焦镜头，采集了涵盖334段视频、超过51万帧的高分辨率影像，并采用创新的基于标定板的远距离标定方案，以获取精准的逐帧内参真值。

特点

该数据集的首要特点在于其前所未有的内参多样性与场景覆盖广度。InFlux++ Synth通过物理上合理的参数化方式模拟了变焦与对焦过程中的镜头呼吸效应，使得相机焦距、畸变系数等内参在视频序列中呈现出连续、平滑且范围宽广的变化，避免了以往合成数据中内参离散或固定的局限。同时，数据集完美融合了程序化生成的室内外环境，囊括卧室、厨房、森林、沙漠等丰富场景，并包含动态物体与逼真光照材质。InFlux++ Real则显著拓展了真实场景的维度，不仅纳入了更多城市街景、日常活动（如烹饪、运动）等自然场景，还引入了大量平移运动，产生更丰富的视差效果，弥补了此前基准以旋转运动为主的不足，更真实地反映了自然视频的拍摄特点。

使用方法

InFlux++为动态相机内参预测模型的研发与评测提供了完整的闭环解决方案。对于监督训练，研究人员可直接利用InFlux++ Synth提供的海量合成视频及其精确的逐帧内参标注，并结合配套的数据加载器进行自定义的镜头畸变与数据增强，以训练如AnyCalib等现有模型。对于算法评估，InFlux++ Real提供了划分清晰的验证集与测试集：验证集公开RGB图像与多种形式的内参真值（包括LUT插值结果与原始镜头元数据），便于开发者调试；测试集则仅公开RGB图像，研究者需通过在线评测服务器提交预测结果，由系统基于改进的端点误差指标进行公正比较，并实时更新榜单。这种标准化的使用流程有效促进了方法的可复现性与公平对比。

背景与挑战

背景概述

在计算机视觉领域，从二维视频中恢复三维结构高度依赖于相机内参的精确性。然而，主流的算法通常假设输入视频的相机内参恒定不变，这一假设在面对真实世界中广泛存在的变焦、调焦等动态操作时屡屡失效。为此，普林斯顿大学的研究团队于2026年提出了InFlux++数据集，旨在解决动态相机内参的逐帧估计这一核心研究问题。该数据集由两个子集构成：InFlux++ Synth提供了超过44万帧的大规模合成视频，通过程序化生成丰富的场景与内参变化；InFlux++ Real则扩展了先前的InFlux基准，包含51.4万帧真实世界高清视频，覆盖更广泛的场景与相机运动模式。该工作通过精细校准与物理建模，为RGB图像驱动的动态内参预测提供了前所未有的训练与评估资源，对该领域的发展产生了深远影响。

当前挑战

动态相机内参估计领域面临双重挑战。首先，训练数据极度匮乏且内参多样性不足：现有真实数据集通常固定内参，而全景图像裁剪虽能改变焦距，却无法模拟视频中内参的连贯变化与真实镜头像差，如畸变与散焦模糊。其次，现有评估基准存在场景与运动局限：早先的InFlux数据集室外场景以校园和自然地标为主，室内局限于办公室与实验室，且相机运动多为旋转，缺乏平移与视差。构建过程同样困难重重：合成数据需在程序化生成中精确耦合物理镜头模型与动态参数变化（如焦距与对焦距离的协同波动），而真实数据则需通过复杂的大视场标定实验（如静态大靶标结合相机移动）获取逐帧真值，同时还需兼顾隐私保护与多样化的室外活动捕捉。

常用场景

经典使用场景

在计算机视觉与三维重建领域，相机内参的精确估计是恢复场景几何结构的基石。然而，现实世界中的视频拍摄常因变焦与对焦操作导致内参动态变化，传统方法因假定内参恒定而难以适应此类场景。InFlux++数据集专为动态相机内参预测任务而生，其经典使用场景在于为基于RGB图像的逐帧内参估计方法提供大规模、高精度的训练与评估平台。研究者可借助该数据集中合成的441K+帧与真实的514K+帧视频数据，训练模型在变焦、失焦模糊及镜头畸变等复杂光学条件下准确预测焦距、主点等内参参数，从而将传统三维算法推广至内参动态变化的实际视频中。

解决学术问题

该数据集的核心贡献在于系统性地回应了动态内参预测领域长期面临的两大关键挑战：训练数据匮乏且内参多样性不足，以及现有基准场景与相机运动模式单一。InFlux++通过构建大规模合成数据集InFlux++ Synth，提供精确的逐帧内参标注、丰富的变焦与对焦变化、逼真的镜头畸变与散焦模糊效应，有效弥补了真实世界训练数据稀缺的短板。同时，其真实基准InFlux++ Real大幅扩展了涵盖城市环境、日常活动与体育运动的场景多样性，并引入更多平移运动带来的视差变化，为公平、全面地评测算法性能提供了更严苛的测试平台。这一体系显著推动了动态内参预测从理论走向实际应用的学术进程。

衍生相关工作

InFlux++的发布催生了一系列富有启发性的后续研究工作。首先，基于其合成数据训练的AnyCalib模型在焦距估计精度上取得了明显提升，验证了合成监督在动态内参预测中的有效性，为无标注真实视频的内参估计开辟了新路径。其次，该数据集的场景与运动多样性促使研究者重新审视传统基于几何优化的标定方法，推动了如GeoCalib、DroidCalib等深度学习方法在复杂动态场景下的改进与适配。此外，InFlux++对镜头畸变与散焦效应的精细建模，为探索多模态自监督学习及内参-深度联合估计提供了高质量的基准，持续激励着该领域在鲁棒性与泛化能力上的突破。