SCANnotate++ Dataset

该存储库提供了ScanNet++v1数据集中对象的CAD模型和姿态注释。注释是使用SCANnotate和HOC-Search自动生成的，并通过多次验证确保高质量。

This repository provides CAD models and pose annotations for objects within the ScanNet++ v1 dataset. The annotations were automatically generated using SCANnotate and HOC-Search, and underwent multiple rounds of validation to ensure high quality.

原始信息汇总

SCANnotate++ 数据集概述

数据集简介

• 提供ScanNet++v1数据集中对象的CAD模型和姿态标注
• 标注通过SCANnotate和HOC-Search自动生成
• 经过多次验证和质量检查，对异常值进行手动重新标注以确保高质量

标注详情

• 5290个ScanNet++v1数据集中对象的CAD模型标注
• 每个CAD模型的精确9D姿态
• 与标注对象对应的3D语义对象实例分割
• 每个对象的提取视图参数（选定的RGB-D图像和相机姿态），可用于基于图像的优化

数据获取与预处理

数据下载

1. ScanNet++v1示例场景：下载链接
   • 需同意ScanNet++使用条款
2. ShapeNetV2数据集：下载链接
3. ScanNet++v1标注：下载链接

预处理步骤

1. 运行预处理脚本： bash bash run_shapenet_prepro.sh gpu=0

2. 预处理后目录结构： text

   • data
     • ScanNetpp
       • annotations
         • 30966f4c6e
         • ...
       • data
         • 30966f4c6e
     • ShapeNet
       • ShapeNet_preprocessed
       • ShapeNetCore.v2

安装要求

1. 安装PyTorch3D：官方指南
2. 安装依赖： bash pip install scikit-image matplotlib imageio plotly opencv-python open3d trimesh==3.10.2

可视化

运行以下命令可视化标注： bash bash visualize_annotations.sh

引用

SCANnotate

bibtex @inproceedings{ainetter2023automatically, title={Automatically Annotating Indoor Images with CAD Models via RGB-D Scans}, author={Ainetter, Stefan and Stekovic, Sinisa and Fraundorfer, Friedrich and Lepetit, Vincent}, booktitle={Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision}, pages={3156--3164}, year={2023} }

HOC-Search

bibtex @inproceedings{ainetter2024hocsearch, title={HOC-Search: Efficient CAD Model and Pose Retrieval From RGB-D Scans}, author={Stefan Ainetter and Sinisa Stekovic and Friedrich Fraundorfer and Vincent Lepetit}, booktitle = {International Conference on 3D Vision (3DV)}, year={2024} }

搜集汇总

数据集介绍

构建方式

SCANnotate++数据集是基于ScanNet++v1数据集构建的，通过SCANnotate和HOC-Search自动化工具生成CAD模型和姿态标注。为确保标注质量，数据集经过多轮验证，并对异常值进行了手动重新标注。标注内容包括5290个CAD模型、精确的9D姿态信息、3D语义对象实例分割以及每个对象的视图参数。数据以.pkl文件格式存储，包含丰富的附加信息，如渲染比较的视图参数和点云数据的3D实例分割。

特点

SCANnotate++数据集以其高质量的CAD模型和姿态标注著称，适用于计算机视觉和3D场景理解研究。数据集提供了详细的9D姿态信息，支持图像优化任务。此外，3D语义对象实例分割和视图参数的加入，使得该数据集在多视角分析和渲染比较任务中具有独特优势。数据集的预处理步骤确保了ShapeNet CAD模型的兼容性，进一步提升了数据的可用性和一致性。

使用方法

使用SCANnotate++数据集需先下载ScanNet++v1示例场景和ShapeNetV2数据集，并进行预处理以中心化和尺度归一化CAD模型。安装PyTorch3D及相关依赖后，用户可通过提供的脚本可视化标注数据。数据集的使用需遵循ScanNet++的使用条款，并引用相关研究论文。预处理步骤和可视化工具的使用说明详细，便于用户快速上手并进行深入研究。

背景与挑战

背景概述

SCANnotate++数据集由格拉茨技术大学等机构的研究团队于2023年推出，旨在为ScanNet++v1数据集中的物体提供高质量的CAD模型和姿态标注。该数据集通过整合SCANnotate和HOC-Search两大创新算法，实现了对室内场景中物体三维形状和空间位姿的自动化标注，为计算机视觉领域的三维场景理解与物体重建研究提供了重要支持。其核心研究问题聚焦于解决真实场景中物体几何与语义信息的精准对齐，推动了增强现实、机器人导航等应用的技术发展。

当前挑战

SCANnotate++数据集面临的挑战主要体现在两方面：在领域问题层面，如何从复杂多变的真实场景RGB-D数据中准确检索与目标物体匹配的CAD模型并估计其9自由度姿态，仍需克服遮挡、光照变化及物体形变等干扰因素；在构建过程层面，自动化标注流程中存在的误差累积问题迫使研究团队设计多轮验证机制，针对异常案例进行人工修正，同时ShapeNet模型与真实扫描数据的尺度归一化预处理也增加了技术复杂度。

常用场景

经典使用场景

SCANnotate++数据集在三维场景理解领域具有重要价值，尤其在室内场景的物体识别与位姿估计方面表现突出。该数据集通过提供高质量的CAD模型和精确的9D位姿标注，为研究者们构建了一个可靠的基准平台。在计算机视觉和机器人导航领域，研究人员常利用该数据集进行三维物体检测算法的验证与优化，特别是在复杂室内环境中，如家庭、办公室等场景，该数据集能够有效支持算法的泛化性能评估。

解决学术问题

SCANnotate++数据集解决了三维场景理解中的多个关键学术问题，包括CAD模型检索、物体位姿估计以及三维语义分割。通过自动生成并人工验证的高质量标注，该数据集显著提升了算法在真实场景中的鲁棒性。其提供的视图参数和点云分割数据，为基于图像的优化方法提供了重要支持，推动了三维视觉领域的技术进步。该数据集的发布填补了大规模室内场景标注数据的空白，为相关研究提供了坚实的基础。

衍生相关工作

SCANnotate++数据集的发布催生了一系列经典研究工作，例如基于CAD模型检索的三维重建算法和高效位姿估计方法。相关研究如SCANnotate和HOC-Search通过利用该数据集，进一步优化了模型检索和位姿估计的精度与效率。这些工作不仅在学术上取得了显著成果，也为工业界的实际应用提供了技术支持，推动了三维视觉领域的整体发展。