ShapeSplat

ShapeSplat数据集由苏黎世联邦理工学院计算机视觉实验室创建，包含65,000个来自87个不同类别的3D高斯喷射对象。该数据集利用ShapeNet和ModelNet数据集构建，通过2 GPU年的计算时间生成。数据集的创建过程包括从CAD模型渲染2D图像，初始化高斯中心，并通过重要性分数进行高斯修剪。ShapeSplat数据集主要用于自监督预训练和监督微调，支持分类和3D部分分割任务，旨在解决3D视觉任务中的场景理解和编辑问题。

The ShapeSplat dataset was developed by the Computer Vision Laboratory at ETH Zurich. It contains 65,000 3D Gaussian Splatting objects belonging to 87 distinct categories. Constructed using the ShapeNet and ModelNet datasets, the dataset required 2 GPU-years of computational time to generate. Its creation process includes rendering 2D images from CAD models, initializing Gaussian centers, and performing Gaussian pruning based on importance scores. The ShapeSplat dataset is primarily used for self-supervised pre-training and supervised fine-tuning, supports classification and 3D part segmentation tasks, and aims to address scene understanding and editing challenges in 3D vision tasks.

原始信息汇总

ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining

基本信息

• 标题: ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining
• 作者:
  • Qi Ma^1,2
  • Yue Li³
  • Bin Ren^2,4,5
  • Nicu Sebe⁵
  • Ender Konukoglu¹
  • Theo Gevers³
  • Luc Van Gool^1,2
  • Danda Pani Paudel²
• 单位:
  • ¹ETH Zürich
  • ²INSAIT
  • ³University of Amsterdam
  • ⁴University of Pisa
  • ⁵University of Trento
• 链接:
  • arXiv
  • GitHub

摘要

• TL;DR: 我们提出了ShapeSplat数据集和Gaussian-MAE方法，该方法能够直接在3DGS参数上进行掩码预训练。
• 主要贡献:
  • ShapeSplat: 一个大规模的高斯散点数据集，包含65K个对象，涵盖87个独特类别。
  • Gaussian-MAE: 基于掩码自编码器的自监督预训练方法，适用于高斯散点。
  • 提出了新颖的高斯特征分组和散点池化层，这些层针对高斯参数进行了定制，能够更好地进行重建和下游任务性能提升。

演示视频

• YouTube演示视频

框架图

• 框架图

Bibtex

bibtex @misc{ma2024shapesplatlargescaledatasetgaussian, title={ShapeSplat: A Large-scale Dataset of Gaussian Splats and Their Self-Supervised Pretraining}, author={Qi Ma and Yue Li and Bin Ren and Nicu Sebe and Ender Konukoglu and Theo Gevers and Luc Van Gool and Danda Pani Paudel}, year={2024}, eprint={2408.10906}, archivePrefix={arXiv}, primaryClass={cs.CV}, url={https://arxiv.org/abs/2408.10906}, }

搜集汇总

数据集介绍

构建方式

ShapeSplat数据集的构建方式是通过使用常用的ShapeNet和ModelNet数据集，并利用3D Gaussian Splatting (3DGS) 方法将这些数据集转换为3DGS表示。该数据集包含65K个来自87个独特类别的对象，其标签与相应数据集一致。数据集的创建使用了相当于2个GPU年在TITAN XP GPU上的计算能力。构建过程中，采用了基于重要度评分的剪枝方法来减少冗余，并通过72个均匀分布的视图渲染每个模型，以获取高质量的2D图像。随后，使用5K个均匀采样的点云初始化Gaussian centroids，并通过训练过程进行优化，最终得到65K个对象的3DGS表示。

特点

ShapeSplat数据集的特点包括大规模、高多样性和高质量的3DGS表示。该数据集包含65K个对象，跨越87个不同的类别，为研究3DGS表示和下游任务提供了丰富的数据资源。数据集的构建过程中采用了基于重要度评分的剪枝方法，减少了冗余，并确保了高质量的渲染结果。此外，该数据集还包含了每个对象的分类标签，方便进行下游的分类和分割任务。

使用方法

ShapeSplat数据集的使用方法包括自监督预训练和监督微调。首先，可以通过自监督预训练方法，如Gaussian-MAE，在ShapeSplat数据集上进行预训练，以学习Gaussian参数的有效表示。预训练完成后，可以使用监督微调方法，如分类和分割任务，对预训练模型进行微调，以适应特定任务的需求。在预训练和微调过程中，可以利用Gaussian feature grouping和splats pooling layer等技术，有效地组合和嵌入相似的Gaussians，从而提高下游任务的表现。

背景与挑战

背景概述

ShapeSplat数据集的创建旨在促进3D Gaussian Splatting (3DGS) 领域的研究。3DGS已经成为许多视觉任务中3D表示的默认方法，因此直接在这种表示空间中理解3D变得至关重要。ShapeSplat数据集由来自87个不同类别的65K个对象组成，其标签与相应的数据集一致。该数据集的创建使用了相当于2个GPU年的计算能力。研究人员利用该数据集进行无监督的预训练和监督的微调，以用于分类和分割任务。为了实现这一目标，他们引入了Gaussian-MAE，突出了从高斯参数中进行表示学习的独特优势。通过详尽的实验，他们提供了几个宝贵的见解，特别是展示了优化后的GS质心分布与均匀采样的点云分布显著不同。

当前挑战

ShapeSplat数据集和相关研究面临的主要挑战包括：1) 解决领域问题的挑战：尽管3DGS在渲染速度和保真度方面具有优势，但直接在训练参数上学习仍然是一个重大障碍，因为缺乏大规模的3DGS场景数据集。2) 构建过程中的挑战：创建ShapeSplat数据集是一个耗时的过程，需要相当于2个GPU年的计算能力。此外，在预训练过程中对高斯点进行下采样会导致重要的外观和几何细节丢失，从而影响学习到的表示的质量。

常用场景

经典使用场景

ShapeSplat数据集在三维视觉任务中被广泛应用于3D Gaussian Splatting（3DGS）的表示学习。该数据集包含了65K个来自87个独特类别的对象，为研究提供了丰富的训练资源。通过使用ShapeSplat数据集，研究者可以进行自监督预训练和监督微调，以实现分类和分割等下游任务的优化。此外，ShapeSplat数据集还支持使用Gaussian-MAE模型进行预训练，该模型通过分析Gaussian参数的分布，提高了下游任务的性能。

解决学术问题

ShapeSplat数据集解决了3DGS缺乏大规模训练数据的问题。通过提供65K个对象的Gaussian splats，ShapeSplat为自监督预训练提供了必要的资源，从而推动了3DGS在分类和分割等任务中的研究。此外，ShapeSplat数据集还揭示了Gaussian参数分布对下游任务的影响，为理解和优化3DGS表示提供了新的视角。

衍生相关工作

ShapeSplat数据集的提出和Gaussian-MAE模型的引入，为3D表示学习领域带来了新的研究方向。基于ShapeSplat数据集，未来的研究可以探索更有效的Gaussian参数表示方法，以及如何更好地利用Gaussian参数进行下游任务。此外，还可以研究如何将ShapeSplat数据集与其他三维数据集进行融合，以实现更全面的三维场景理解。