Immersion v1.0

沉浸式数据集：(A) 异构多传感器捕获设备。(B) 突破“稀疏屏蔽”的超密集捕获。(C) 示例帧显示具有挑战性的现实世界属性：弱纹理、复杂纹理、高镜面反射和透射、复杂光照、过曝和狭窄空间。

Immersive Dataset:
(A) Heterogeneous multi-sensor capture devices.
(B) Ultra-dense capture that breaks through the "sparse masking" limitation.
(C) Example frames exhibit challenging real-world attributes: weak texture, complex textures, high specular reflection and transmission, complex lighting, overexposure, and confined spaces.

原始信息汇总

好的，根据您提供的README文件内容，以下是对YOGO项目及关联数据集的关键信息总结。

项目与数据集概述

YOGO (You Only Gaussian Once) 是一个面向生产环境的3D高斯泼溅（3D Gaussian Splatting）框架，专注于对超密集采样场景进行可控、高保真的重建。该框架通过确定性的、预算感知的平衡机制替代启发式的高斯生长，以解决3DGS领域工业界与学术界之间的差距，并提高在硬件约束下资源使用的可预测性。

核心架构设计

YOGO的流程始于多传感器数据，经过可用性-配准多传感器融合过滤受污染的输入。在确定性预算控制器的约束下，每个阶段的高斯点数量被严格控制，该控制器根据预设约束和多边形区域调节生长。整个过程由Solid优化套件增强，以稳健处理复杂纹理。

Immersion v1.0 数据集

该数据集是YOGO项目的重要组成部分，旨在打破“稀疏性屏障”，专为超密集采样场景设计。

• 数据集特性：包含四个场景示例（部分已发布），具有挑战性的真实世界属性，如弱纹理、复杂纹理、高反射和透射、复杂光照、过度曝光以及狭窄空间。
• 数据获取：使用异构多传感器采集设备平台进行超密集采集。
• 已发布资源：从Immersion v1.0数据集中提供了四个场景的数据。
• 发布状态：训练代码、推理代码及四个场景数据已发布。评估工具包（包括评估脚本、Q-Align评估代码和测试数据集）即将推出。

关键技术要素

• 传感器融合：集成了稳健的多传感器融合方法，处理多源数据输入。
• 预算控制：实现了预算控制的高斯点分配，确保资源使用的可预测性。
• 渲染与可视化：提供训练和渲染脚本，并且训练后的输出与SIBR Viewer兼容，可进行交互式可视化。

代码与使用

• 项目结构：包含 train.py、render_single.py 等核心脚本，以及用于参数管理、渲染、场景加载、CUDA扩展和工具函数的多个模块。
• 安装：推荐基于Python 3.10、PyTorch 2.1.0和CUDA 11.8的环境。通过 requirements.txt 即可安装。
• 数据布局：COLMAP加载器期望的场景目录包含 images/、sparse/0/下的二进制文件、用于初始化的 points3D.ply、以及 depths/、masks/ 和 val_list.txt 等目录和文件。
• 训练流程：支持默认的三阶段工作流（基础模型训练、曝光优化与过滤、融合训练），可通过 run_all.sh 脚本执行。
• 渲染：可使用 render_single.py 脚本直接对训练好的点云进行渲染。

引用与许可

• 引用：如果该项目对您有帮助，请引用其arXiv预印本文章 arXiv:2604.21400。
• 许可：项目代码采用MIT许可证发布。子模块中的第三方代码和CUDA扩展保留其原始许可证。

搜集汇总

数据集介绍

构建方式

Immersion v1.0数据集专为突破传统三维重建中的“稀疏性屏障”而设计，旨在服务于超密集采样场景下的高保真重建任务。该数据集通过异构多传感器捕获平台采集数据，融合了激光雷达点云与多视角图像信息，并利用Availability-Registration多传感器融合策略滤除受污染输入。在确定性预算控制器的约束下，对每个阶段的高斯点数量进行严格管理，结合多边形区域分割与固优化套件，最终构建出一套覆盖弱纹理、复杂纹理、高反光透射、复杂光照及过曝等真实挑战场景的密集室内数据集，为生产级三维高斯泼溅方法提供了可靠的训练与评估基础。

特点

Immersion v1.0数据集的核心特质在于其“超密集”的采样密度与对真实世界复杂光照材质的全面覆盖。与传统稀疏视角数据集不同，该数据集通过密集捕获打破了视角稀疏带来的算法幻觉问题，迫使模型学习物理真实的几何与外观细节。其场景包含弱纹理墙面、高反射玻璃、透明材质以及狭窄封闭空间等极具挑战性的案例，充分测试算法在极端光照与纹理条件下的鲁棒性。同时，数据集提供完备的深度图、遮罩及验证集划分，支持多阶段训练流程，并集成了激光雷达与运动恢复结构联合初始化的点云，确保了三维重建的起点准确性与资源可预测性。

使用方法

使用Immersion v1.0数据集时，需遵循COLMAP格式的数据布局组织，将各场景的图像、稀疏重建结果、深度图及遮罩存放于指定目录。训练过程采用三阶段脚本流程：首先通过train_base.sh训练基础高斯模型，随后利用train_expo.sh进行曝光优化与过滤，最后通过train_fusion.sh完成融合训练。用户可通过run_all.sh一键启动完整流水线，并利用GPU空闲内存自动分配任务。渲染阶段使用render_single.py指定PLY点云路径与相机参数文件即可生成结果，输出兼容SIBR可视化工具进行交互查看。评估工具集即将发布，届时可结合Q-Align等指标进行定量分析。

背景与挑战

背景概述

Immersion v1.0数据集由Ke Holdings Inc.的研究团队于2025年创建，旨在解决三维高斯泼溅（3D Gaussian Splatting, 3DGS）领域在工业应用中的核心瓶颈。尽管3DGS在稀疏视图下的新视角合成表现出色，但其在超密集采样场景中面临资源不可控、视觉伪影多等问题。该数据集通过多传感器融合与超高密度采样，突破了传统数据集因视角稀疏性导致的评价壁垒，为生产级3DGS提供了物理逼真度优先的基准。YOGO框架（You Only Gaussian Once）与其配套，实现了确定性的高斯点预算控制，显著提升了复杂室内场景的重建可预测性，对三维视觉与计算摄影学领域具有重要的推动作用。

当前挑战

Immersion v1.0数据集面临的主要挑战包括：1）领域问题方面，超密集场景的高斯点分配需平衡资源预算与重建精度，现有启发式策略在硬件约束下易产生资源浪费或质量退化，而传统稀疏视图方法难以处理弱纹理、高镜面反射、复杂光照等真实属性。2）构建过程中，多源传感器（如RGB相机、激光雷达）的异构数据融合面临时间同步、空间对齐及噪声过滤难题；同时，超密集采样带来的海量数据存储与处理对计算效率和显存容量提出严苛要求，且需确保训练与渲染算法在预算控制下保持稳定收敛。

常用场景

经典使用场景

在沉浸式虚拟现实与高精度数字孪生领域，Immersion v1.0数据集专为超密集采样场景的三维高斯泼溅重建而设计。其最经典的使用场景在于，为多传感器融合的室内环境提供厘米级精度的几何与外观重建基准。通过部署异构多源采集系统，数据集捕获了涵盖弱纹理、复杂光照、高反光及狭窄空间等极端条件的海量帧序列，打破了传统稀疏视角方法的信息壁垒，从而驱动三维高斯泼溅模型从实验室幻觉式优化迈向工业级确定性重建。

衍生相关工作

围绕Immersion v1.0数据集，衍生出了若干具有深远影响的经典工作。除了其核心框架YOGO所提出的预算感知均衡生长机制与融合优化套件外，该数据集还被广泛用于评估和改进如AbsGS、Pixel-GS及ResGS等系列方法在高密度场景下的泛化能力。后续研究者利用其超采样特性，探索了基于多边形区域约束的高斯分布策略与多阶段曝光融合等前沿方向，进一步推动了三维高斯泼溅在可控性、鲁棒性及资源确定性上的理论突破，形成了从数据驱动到算法协同的完整研究生态。

数据集最近研究

最新研究方向

针对超密集采样场景的工业级三维高斯泼溅重建，研究重点在于打破传统3DGS在稀疏视角下的性能瓶颈，通过确定性预算感知均衡与多传感器融合策略，实现高保真、可控且资源可预测的物理级真实感重建，弥合学术界与工业界的鸿沟。