GS-QA

GS-QA是一个综合性的质量评估数据库，由葡萄牙里斯本大学的电信研究所和高等技术学院创建。该数据库包含了使用多种GS方法合成的视频，这些视频通过主观的双刺激连续质量尺度(DSCQS)测试进行了质量评估。数据集涵盖了八个真实世界的静态场景，旨在为GS视图合成和客观质量度量提供一个基准。

搜集汇总

数据集介绍

构建方式

GS-QA数据集是通过一系列的静态场景和相机轨迹，结合七种先进的GS方法生成的合成视频构建的。首先，使用 COLMAP 算法进行相机位姿估计，然后利用训练图像初始化一组 3D 高斯函数。通过迭代优化，找到一组参数值，使合成图像与训练图像的差异最小化。接着，利用定义的轨迹进行视图合成，将 3D 高斯函数投影到相应的 2D 图像平面上，并通过“splatting”过程将高斯函数的参数合并，形成最终的场景 2D 视图。整个过程中，使用了多种策略来动态调整高斯函数的数量和空间分布，以提高渲染质量和效率。

特点

GS-QA数据集的特点包括：1) 包含 64 个由七种先进的 GS 方法生成的合成视频，以及八个参考视频；2) 覆盖了两种相机轨迹：360° 和前向视角 (FF)；3) 涵盖了八种真实的静态场景；4) 包含了由 22 名非专业观众进行的 DSCQS 主观测试结果；5) 包含了 18 个客观质量指标的性能评估。

使用方法

使用 GS-QA 数据集时，可以将其作为基准来评估 GS 方法的性能，包括合成视频的质量、速度和存储效率。同时，可以研究客观质量指标的有效性，以评估 GS 生成的视频内容。具体来说，可以比较不同 GS 方法的合成视频与参考视频之间的质量差异，并分析客观质量指标与主观测试结果之间的相关性。此外，还可以使用 GS-QA 数据集来开发新的 GS 方法或改进现有方法，以提高其性能和效率。

背景与挑战

背景概述

近年来，3D视觉表征在虚拟现实、游戏、医疗成像和建筑等多个领域日益流行。这些表征提供了沉浸式和交互式体验，使用户能够比传统2D图像更自然地感知深度和空间关系。高斯溅射（GS）是3D场景表示的最新进展，它通过使用各向异性的3D高斯来表示复杂的几何形状和外观，为实时3D场景渲染提供了一种更有前途的替代方案，与NeRF相比，GS实现了更快的渲染时间和更低的内存消耗。然而，对于GS生成的静态内容的质量评估尚未深入研究。本文描述了一项主观质量评估研究，旨在评估使用几种静态GS最先进方法获得的合成视频。这些方法被应用于各种视觉场景，包括360度和面向前方的（FF）相机轨迹。此外，还分析了18个客观质量指标的性能，使用主观研究的结果分数，为GS视图合成和客观质量指标提供了见解。所有视频和分数都公开提供，可以作为GS视图合成和客观质量指标的全面数据库。

当前挑战

尽管GS模型生成的视图具有许多优点，但它们通常会出现浮点数和几何失真等伪影，这会显著影响视觉质量。GS生成的静态内容缺乏全面的主观评估研究，这突出了文献中的一个关键差距。此外，虽然PSNR、SSIM和LPIPS等客观质量指标通常用于评估GS生成的内容，但它们与人类感知的相关性仍然研究不足。考虑到这些局限性，本研究的主要目标是进行一项全面的主观评估活动，从感知上比较几种静态GS方法的性能，并确定评估GS合成视图的最准确的客观质量指标。该工作的关键贡献是：主观评估活动：进行了一项主观研究，使用GS合成视图，对七种最先进的基于GS的方法进行了感知质量评估，从原始工作3DGS到更近期的Scaffold-GS。使用八个现实世界的静态场景，并考虑了360度和面向前方的相机轨迹来获取GS模型。通过使用定义的轨迹将视图合成应用于3D模型，获得视频，并通过在半受控的实验室环境中进行的双重刺激连续质量尺度（DSCQS）主观测试进行评估。客观指标的性能评估：使用主观评估测试中向参与者展示的视频和感知分数，对几个客观质量指标进行了彻底的分析。这种评估提供了指标性能的见解，突出了在解决GS特定伪影和失真方面的局限性，并确定了最有效地评估GS视图合成质量的指标，从而指导未来的发展。

常用场景

经典使用场景

GS-QA数据集主要用于评估Gaussian Splatting (GS)方法生成的静态内容的视觉质量。通过对多个GS方法生成的视频进行主观评估，可以比较它们的性能，并识别出最准确的客观质量评估指标。该数据集包含了多种视觉场景，包括360°和前向 facing (FF) 摄像机轨迹，为研究GS视图合成的质量提供了全面的基准。

实际应用

GS-QA数据集在实际应用中具有广泛的应用前景。例如，在虚拟现实、游戏、医疗成像和建筑等领域，3D视觉表示已经成为越来越受欢迎的技术。GS方法由于其高效的计算能力和高质量的渲染效果，在这些领域有着广泛的应用。通过使用GS-QA数据集，研究人员可以评估不同GS方法的性能，并选择最合适的方法来生成高质量的3D视觉表示。

衍生相关工作

GS-QA数据集的发布为相关研究提供了重要的基准。例如，NeRF-QA和NVS-QA数据集对NeRF方法生成的视频进行了主观质量评估，而GS-QA数据集则专注于GS方法生成的静态内容的视觉质量。此外，GS-QA数据集还评估了多种客观质量指标的适用性，为未来研究提供了重要的参考。