GS Quality Assessment (GSQA)

GS Quality Assessment (GSQA)数据集由密苏里大学堪萨斯城分校科学与工程学院和上海交通大学媒体创新合作中心共同创建，旨在评估3D高斯喷射（GS）的质量。该数据集包含120个样本，涵盖静态和动态GS内容。数据集的创建过程涉及使用GGSC方法对GS样本进行分割、图构建、信号残差矩阵生成、量化和编码。GSQA数据集的应用领域主要集中在3D场景重建和压缩技术中，旨在解决高斯喷射数据的传统压缩方法的研究空白问题。The GS Quality Assessment (GSQA) dataset was jointly created by the School of Science and Engineering at the University of Missouri-Kansas City and the Media Innovation Center at Shanghai Jiao Tong University. It is designed to evaluate the quality of 3D Gaussian Spray (GS). The dataset contains 120 samples, encompassing both static and dynamic GS content. The creation process of the dataset involves segmenting GS samples using the GGSC method, constructing graphs, generating signal residual matrices, quantification, and encoding. The application of the GSQA dataset is primarily focused on 3D scene reconstruction and compression techniques, aiming to address the research gap in traditional compression methods for Gaussian Spray data.

原始信息汇总

GGSC数据集概述

数据集简介

• 数据集名称：A Benchmark for Gaussian Splatting Compression and Quality Assessment Study
• 研究领域：3D高斯泼溅压缩与质量评估
• 主要用途：提供高斯泼溅（Gaussian Splatting, GS）压缩与质量评估的基准测试

数据集内容

• 示例数据下载地址：https://drive.google.com/file/d/1QYOBdPcS0M2YXMbV4G_N7-_kKy9htpaw/view?usp=sharing
• GSQA数据集下载地址：
  • OneDrive：https://1drv.ms/f/c/3dbe3858aa085846/EjN7TaKq5QBNhgE83zV5plIB5RcFIUmlV0VCvzsXpFp8pQ?e=5aGyg8
  • 百度网盘：https://pan.baidu.com/s/14zJyYmbj8pMlsPqnBMBuzQ 密码：6njd

脚本运行结果

运行脚本后生成以下文件：

• xxx_geo.bin：GS中心的比特率
• xxx_attr.bin：GS属性的比特率
• xxx_rec.ply：压缩后的重建GS样本
• xxx.json：压缩参数
• xxx_time.txt：压缩时间日志

引用信息

bibtex @inproceedings{yang2024GGSC, author = {Yang, Qi and Yang, Kaifa and Xing, Yuke and Xu, Yiling and Li, Zhu}, title = {A Benchmark for Gaussian Splatting Compression and Quality Assessment Study}, year = {2024}, isbn = {9798400712739}, publisher = {Association for Computing Machinery}, address = {New York, NY, USA}, url = {https://doi.org/10.1145/3696409.3700172}, doi = {10.1145/3696409.3700172}, booktitle = {Proceedings of the 6th ACM International Conference on Multimedia in Asia}, articleno = {12}, numpages = {8}, keywords = {3D Gaussian Splatting, Compression, Quality Assessment}, series = {MMAsia 24} }

环境要求

• Python库：
  • arithmetic_compressor
  • scipy
  • matplotlib

搜集汇总

数据集介绍

构建方式

本研究提出的GGSC是一种基于图的压缩方法，首先通过KDTree将GS样本分割成多个子GS，然后利用图信号处理理论，将原始GS样本中的各个基本属性（如中心、颜色、透明度、尺寸和旋转）进行图构建和图傅里叶变换。通过裁剪高频分量并量化，最终利用G-PCC和自适应算术编码对基本属性中心及其余属性残差矩阵进行压缩，以生成比特率文件。

使用方法

使用GSQA数据集，研究者可以进行GS压缩算法的评估和比较，分析不同压缩参数对视觉质量的影响，以及研究不同属性失真的敏感度。此外，GSQA还可以作为研究GS质量评估方法的基准数据集，帮助研究者设计更准确的客观质量评估指标。

背景与挑战

背景概述

随着三维重建技术的不断进步，3D高斯散斑（GS）压缩技术应运而生，并在学术界和工业界引起了广泛关注。GS技术利用一系列散射各向同性椭球体来重建三维场景，具有高效的自定义CUDA渲染实现，能够实现快速训练和渲染，具有实际应用的良好潜力。GS的显式数据格式易于理解和处理，对下游任务（如分割）友好，并有望成为标准化研究的基础。然而，由于其显式数据格式和几乎不受限制的椭球体密度化（即克隆和分割），3D GS通常需要大量的内存和存储空间。因此，3D GS压缩成为一项极其重要且不可避免的技术。本文首先提出了一种简单而有效的GS数据压缩锚，称为基于图的GS压缩（GGSC），并使用不同的分支来压缩GS的基元中心和属性。随后，我们创建了一个名为GS质量评估（GSQA）的数据集，包含120个样本。在一个实验室环境中进行主观实验，收集了将GS渲染成处理后的视频序列（PVS）后的主观评分。基于平均意见得分（MOS），我们分析了不同GS失真的特性，证明了不同属性失真对视觉质量的敏感性。GGSC代码和数据集，包括GS样本、MOS和PVS，已在https://github.com/Qi-Yangsjtu/GGSC上公开提供。

当前挑战

GSQA数据集的构建面临着几个挑战。首先，由于GS数据的新颖性和对GS失真特性和量化的认识不足，很少有研究探索传统的GS压缩。其次，构建一个易于理解的GS数据压缩锚点，以及一个包含GS样本、MOS和PVS的数据集，对于GS压缩的研究至关重要。最后，GSQA数据集的构建需要对不同的GS失真特性进行分析，以揭示不同属性失真对视觉质量的敏感性。

常用场景

经典使用场景

在3D场景重建与压缩领域，3D高斯散点（GS）压缩技术的研究主要集中在如何实现更为紧凑的场景表示，例如使用更少的GS基元或将显式的GS数据转换为隐式形式，这可以归类为“生成式压缩”方法。然而，针对GS数据本身的压缩研究，即“传统压缩”，尚属空白。为了填补这一空白，本文首先提出了一种简单而有效的GS数据压缩方法，称为基于图的GS压缩（GGSC）。GGSC受图信号处理理论的启发，使用两个分支分别压缩基元中心和属性。通过KDTree将整个GS样本分割，并在图傅里叶变换后截断高频成分。随后，通过量化，使用G-PCC和自适应算术编码压缩基元中心和属性残差矩阵，生成比特率文件。GGSC是第一个探索传统GS压缩的工作，其优势在于可以揭示典型压缩操作（如高频截断和量化）对应的GS失真特征。基于GGSC，我们创建了GS质量评估数据集（GSQA），包含120个样本。在实验室环境下，我们对GS进行渲染，生成处理后的视频序列（PVS），并收集主观评分。我们基于平均意见得分（MOS）分析了不同GS失真的特性，展示了不同属性失真对视觉质量的敏感性。GGSC代码和数据集，包括GS样本、MOS和PVS，已在https://github.com/Qi-Yangsjtu/GGSC公开提供。

解决学术问题

该数据集解决了传统GS压缩方法的研究空白问题，为后续研究提供了重要的参考和基础。同时，GSQA数据集的构建和主观实验的开展，为GS压缩对视觉质量的影响提供了定量的评估，有助于推动GS压缩技术的发展和标准化研究。此外，GSQA数据集的构建也为3D场景重建与压缩领域的其他研究提供了重要的数据资源。

实际应用

在3D场景重建与压缩领域，GSQA数据集可以用于评估和改进GS压缩算法的性能，优化压缩参数，提高压缩效率，降低存储和传输成本。此外，GSQA数据集还可以用于开发更为准确的GS质量评估方法，为3D场景重建与压缩领域的应用提供更为可靠的参考。

数据集最近研究

最新研究方向

在3D场景表示领域，3D高斯散斑(Gaussian Splatting, GS)因其高质量的复杂度权衡而备受关注。然而，GS的显式数据格式和几乎不受限制的椭球体密集化导致其需要大量的内存和存储空间。为了解决这一问题，研究者们提出了两种主要的压缩方法：生成式压缩和传统压缩。生成式压缩通过优化GS参数，形成更紧凑的表示，而传统压缩则类似于图像、视频和点云压缩，使用一系列工具对GS数据进行后处理，并将其编码为二进制流。本文提出的图基GS压缩(Graph-based GS Compression, GGSC)是一个简单而有效的GS数据压缩锚点，它使用KDTree将GS分割成多个子组，然后将每个子组的椭球中心视为图顶点构建局部图表示，并将椭球属性（包括SH、不透明度、比例和旋转）定义为图信号。GGSC使用图傅里叶变换(GFT)对图信号进行高频率成分的裁剪，并使用几何点云压缩工具(G-PCC)和自适应算术编码对椭球中心和属性残差矩阵进行压缩。为了分析有损压缩对视觉质量的影响，本文还构建了一个名为GS质量评估(GSQA)的大规模GS数据集，并通过主观实验收集了GS渲染成处理后的视频序列(PVS)后的主观评分。研究结果表明，GGSC能够揭示GS与传统压缩操作（如高频率裁剪和量化）相对应的失真特性，为GS压缩研究提供了重要的参考。

相关研究论文

• A Benchmark for Gaussian Splatting Compression and Quality Assessment Study

  密苏里大学堪萨斯城分校科学与工程学院，上海交通大学媒体创新合作中心 · 2024年