OccScanNet

OccScanNet数据集是通过一系列步骤从ScanNet和CompleteScanNet数据集生成的。首先，下载并处理ScanNet数据集，提取图像和姿态信息。然后，下载CompleteScanNet数据集的地面真实标签并进行预处理。最后，通过生成脚本创建OccScanNet数据集，包括预处理体素和收集的数据。The OccScanNet dataset is generated from the ScanNet and CompleteScanNet datasets through a series of steps. First, the ScanNet dataset is downloaded and processed to extract image and pose information. Then, the ground-truth labels of the CompleteScanNet dataset are downloaded and preprocessed. Finally, the OccScanNet dataset is constructed using generation scripts, incorporating the preprocessed voxels and collected data.

原始信息汇总

OccScanNet 数据集准备

数据集概述

OccScanNet 数据集文件可在 此处 下载，但需同意 ScanNet 和 CompleteScanNet 数据集的使用条款。

数据集生成过程

步骤

1. 克隆官方 MMDetection3D 仓库 bash git clone https://github.com/open-mmlab/mmdetection3d.git ISO

2. 切换到 v1.3.0 版本 bash cd ISO git checkout v1.3.0

3. 下载 ScanNet 数据集 按照 指示 下载并放置 scans 目录为 ISO/data/scannet/scans。

4. 提取带姿态的 RGB 图像 运行以下命令： bash python extract_posed_images.py --max-images-per-scene 100

   提示：添加 --max-images-per-scene -1 以禁用每场景图像数量限制。

5. 下载原始 CompleteScanNet 使用 SCFusion 的地面真实标签，放置为 ISO/data/completescannet/CompleteScanNet_GT。

6. 重构 CompleteScanNet 运行以下命令： bash python preprocess_gt.py

   结果目录为 ISO/data/completescannet/CompleteScanNet_preprocessed_GT。

7. 创建 OccScanNet 创建 preprocessed_voxels 和 gathered_data 目录，并链接到 ISO/data/occscannet。 运行以下命令： bash python generate_gt.py --step [1, 2, 3, 4, 5]

   步骤可按顺序指示以确保每一步正确运行。

OccScanNet-mini

OccScanNet-mini 使用的场景在配置文件中反映。

搜集汇总

数据集介绍

构建方式

OccScanNet数据集的构建过程基于ScanNet和CompleteScanNet两个现有数据集。首先，用户需克隆MMDetection3D的官方仓库，并切换到特定版本。随后，按照指导下载ScanNet数据集，并通过脚本提取带有姿态信息的RGB图像。接着，下载CompleteScanNet的地面真值标签，并进行预处理以生成所需的格式。最后，通过运行生成脚本，将处理后的数据整合为OccScanNet数据集，形成包含预处理体素和收集数据的目录结构。

特点

OccScanNet数据集的特点在于其多视角三维检测能力，支持从大量场景中提取带有姿态信息的图像。数据集提供了丰富的场景数据，每个场景包含多达5000帧以上的图像，且支持灵活的图像数量限制，以适应不同的存储和计算需求。此外，数据集还包含了经过预处理的体素数据，便于直接用于三维检测模型的训练和评估。

使用方法

使用OccScanNet数据集时，用户需首先下载并配置ScanNet和CompleteScanNet数据集。通过运行提供的脚本，用户可以提取带有姿态信息的图像，并生成预处理的地面真值数据。随后，用户需创建特定的目录结构，并通过生成脚本整合数据，最终形成OccScanNet数据集。该数据集可直接用于多视角三维检测任务，用户可根据需求调整每个场景的图像数量，以优化存储和计算效率。

背景与挑战

背景概述

OccScanNet数据集是由OpenMMLab团队于2023年推出的一个专注于三维场景理解的数据集，旨在解决室内场景的占用网格重建问题。该数据集基于ScanNet和CompleteScanNet两个已有数据集构建，通过提取RGB图像及其对应的姿态信息，结合地面真值标签，生成了用于训练和测试的占用网格数据。OccScanNet的推出为三维视觉领域的研究提供了新的数据支持，尤其是在多视角三维检测和场景重建任务中，显著提升了模型的泛化能力和精度。该数据集的创建不仅推动了三维视觉算法的发展，也为室内场景的智能感知与理解提供了重要的数据基础。

当前挑战

OccScanNet数据集在构建过程中面临多重挑战。首先，数据预处理阶段需要从ScanNet中提取大量RGB图像及其姿态信息，单场景图像数量可达5000帧以上，数据存储和处理需求极高。其次，CompleteScanNet的地面真值标签生成过程复杂，涉及点云数据的对齐与预处理，这对算法的精度和计算资源提出了较高要求。此外，OccScanNet的占用网格生成需要对原始数据进行复杂的体素化处理，确保数据的一致性和可用性。这些挑战不仅体现在数据处理的技术难度上，也对存储空间和计算效率提出了严峻考验。

常用场景

经典使用场景

OccScanNet数据集在三维场景理解领域具有广泛的应用，尤其是在多视角三维检测和场景重建任务中。该数据集通过提供高质量的RGB图像及其对应的姿态信息，使得研究者能够有效地训练和验证多视角三维检测模型，如ImVoxelNet等。其经典使用场景包括室内场景的三维重建、物体检测和语义分割等任务。

实际应用

在实际应用中，OccScanNet数据集被广泛应用于智能家居、机器人导航和增强现实等领域。例如，在智能家居中，该数据集可以用于训练机器人识别和定位家具，从而实现自主导航和物体抓取。在增强现实应用中，OccScanNet的多视角图像和姿态信息可以用于生成逼真的虚拟场景，提升用户体验。

衍生相关工作

OccScanNet数据集衍生了许多经典的研究工作，尤其是在多视角三维检测和场景重建领域。例如，基于该数据集开发的ImVoxelNet模型在多视角三维检测任务中取得了显著的性能提升。此外，SCFusion等研究工作利用OccScanNet的地面真值标签，进一步推动了三维场景重建技术的发展。这些相关工作不仅验证了OccScanNet数据集的有效性，也为后续研究提供了宝贵的参考。