RealEstate10K, ACID, DL3DV

RealEstate10K是一个包含房地产图像的数据集，ACID是一个用于计算机视觉任务的数据集，DL3DV是一个用于3D视觉任务的数据集。

RealEstate10K is a dataset comprising real estate images. ACID is a dataset for computer vision tasks. DL3DV is a dataset for 3D vision tasks.

原始信息汇总

SelfSplat 数据集概述

数据集获取

预训练模型

• 预训练模型可在 Hugging Face 获取，并放置在 pretrained 目录中。
• CroCo 预训练模型可从 GitHub 下载，并将 CroCo_V2_ViTLarge_BaseDecoder.pth 放置在 checkpoints 目录中。

数据集

• RealEstate10K 和 ACID:

  • 数据集格式与 pixelSplat 相同。
  • 小部分数据集可在 Google Drive 获取。
  • 若需完整数据集，请联系 pixelSplat。
  • 数据集处理脚本可在 GitHub 获取。

• DL3DV:

  • 数据集准备遵循 DepthSplat 的详细说明。
  • 训练中仅使用 3K 和 4K 子集。

数据集使用

训练

• 主入口为 src/main.py。
• 支持单 GPU 和多 GPU 训练。
• 默认配置需要 80 GB VRAM 的 GPU（A100 或 H100）。

评估

• 渲染帧从现有检查点运行，具体命令如下： bash

  Real Estate 10k

  python3 -m src.main +experiment=re10k mode=test checkpointing.load=pretrained/re10k.ckpt

  ACID

  python3 -m src.main +experiment=acid mode=test checkpointing.load=pretrained/acid.ckpt

  DL3DV

  python3 -m src.main +experiment=dl3dv mode=test checkpointing.load=pretrained/dl3dv.ckpt

相机约定

• 外参为 OpenCV 风格的相机到世界矩阵。
• 内参为归一化，第一行除以图像宽度，第二行除以图像高度。

联系

• 如有问题，请联系 Gyeongjin Kang。

引用

@article{kang2024selfsplat, title={SelfSplat: Pose-Free and 3D Prior-Free Generalizable 3D Gaussian Splatting}, author={Kang, Gyeongjin and Yoo, Jisang and Park, Jihyeon and Nam, Seungtae and Im, Hyeonsoo and Kim, Sangpil and Park, Eunbyung and others}, journal={arXiv preprint arXiv:2411.17190}, year={2024} }

搜集汇总

数据集介绍

构建方式

该数据集的构建基于RealEstate10K、ACID和DL3DV三个主要数据源。RealEstate10K和ACID数据集通过像素分割技术进行处理，将其分割为约100MB的块，以便于在服务器集群文件系统上使用。DL3DV数据集则遵循DepthSplat的准备指南，仅使用其中的3K和4K子集进行训练。这些数据集的整合和预处理为后续的3D重建提供了坚实的基础。

特点

该数据集的主要特点在于其无姿态和无3D先验的3D高斯喷射（3D Gaussian Splatting）能力。通过SelfSplat技术，数据集能够在不依赖任何3D先验信息的情况下，从无姿态的图像中实现3D重建。此外，数据集支持多GPU训练，适用于大规模计算环境，且其相机外参采用OpenCV风格，便于与现有系统集成。

使用方法

使用该数据集时，首先需通过提供的脚本或链接获取预训练的检查点和数据集，并将其放置在相应的目录中。随后，用户可以通过调用`src/main.py`脚本进行训练或评估。训练时，可根据GPU资源调整批量大小以优化内存使用。评估阶段，用户可加载预训练的检查点，生成帧并进行渲染。详细的相机参数和数据格式确保了与现有系统的兼容性。

背景与挑战

背景概述

RealEstate10K、ACID和DL3DV数据集是由Gyeongjin Kang、Jisang Yoo等研究人员在2024年创建的，旨在支持无需姿态和3D先验的通用3D高斯喷射（3D Gaussian Splatting）研究。这些数据集的核心研究问题是如何从无姿态的图像中进行3D重建，这一问题在计算机视觉和图形学领域具有重要意义。通过提供大规模的图像和3D数据，这些数据集为研究人员提供了一个强大的工具，以推动3D重建技术的发展，特别是在无需复杂预处理和先验知识的情况下。

当前挑战

这些数据集在构建过程中面临了多个挑战。首先，数据集的规模巨大，RealEstate10K和ACID分别约为500 GB和160 GB，这使得数据处理和存储成为一个重大问题。其次，数据集的多样性和复杂性要求高效的算法来处理和分析，尤其是在3D重建任务中。此外，数据集的分割和格式化也需要专门的技术和工具，以确保数据的高效利用。最后，由于数据集的开放性和通用性，确保数据的质量和一致性也是一个持续的挑战。

常用场景

经典使用场景

在计算机视觉领域，RealEstate10K、ACID和DL3DV数据集被广泛应用于3D重建任务。这些数据集通过提供多视角图像和相应的相机参数，使得研究人员能够在无需预先姿态信息和3D先验的情况下，进行高精度的3D高斯点云重建。例如，SelfSplat项目利用这些数据集，实现了从无姿态图像中进行3D重建，极大地推动了无监督3D重建技术的发展。

衍生相关工作

基于这些数据集，研究人员开发了多种先进的3D重建和点云处理技术。例如，SelfSplat项目通过这些数据集实现了无需姿态信息的3D高斯点云重建，推动了无监督3D重建技术的发展。此外，还有许多相关工作如DepthSplat、MVSplat等，利用这些数据集进行多视角立体匹配和深度估计，进一步提升了3D重建的精度和效率。这些衍生工作不仅丰富了计算机视觉领域的研究内容，还为实际应用提供了强有力的技术支持。

数据集最近研究

最新研究方向

在计算机视觉领域，RealEstate10K、ACID和DL3DV数据集的最新研究方向主要集中在无姿态和无3D先验的通用3D高斯喷射（3D Gaussian Splatting）技术上。SelfSplat作为一种前沿方法，通过从无姿态图像中进行3D重建，显著提升了数据集的应用潜力。这一研究不仅推动了3D重建技术的发展，还为虚拟现实和增强现实等应用提供了新的可能性。此外，该研究还强调了多GPU训练和大规模数据集处理的重要性，为未来相关领域的研究奠定了基础。