vevenom/SCANnotateDataset

SCANnotate数据集为ScanNet数据集中的对象提供了CAD模型和姿态注释。这些注释是通过scannotate和HOC-Search工具自动生成的，并经过多次验证以确保高质量。数据集包括18617个CAD模型注释、每个CAD模型的精确9D姿态、与注释对象对应的3D语义对象实例分割、自动生成的ShapeNet CAD模型的对称性标签以及每个对象的视图参数。这些视图参数可以用于通过渲染和比较进行CAD模型检索。数据集注释以.pkl文件形式提供，并额外提供了scan2cad数据格式的.json文件。使用这些注释前需要对ShapeNet CAD模型进行预处理，以确保与注释兼容。

原始信息汇总

SCANnotateDataset

数据集概述

SCANnotateDataset 提供了 ScanNet 数据集中物体的 CAD 模型和姿态标注。这些标注是通过自动生成的方法获得的，并经过多次验证和手动重新标注以确保高质量。

标注详情

提供的标注内容

• CAD 模型标注：为 ScanNet 数据集中的 18617 个物体提供了 CAD 模型标注，比 Scan2CAD 数据集多 30%。
• 9D 姿态标注：每个 CAD 模型的精确 9D 姿态。
• 3D 语义实例分割：与标注物体对应的 3D 语义实例分割。
• 自动生成的对称标签：为 ScanNet 中所有类别的 ShapeNet CAD 模型生成的对称标签。
• 视图参数：每个物体的视图参数（选定的 RGB-D 图像和相机姿态），可用于通过渲染和比较进行 CAD 模型检索。

标注文件格式

• .pkl 文件：包含标注物体的额外信息，如渲染和比较的视图参数以及相应的点云数据 3D 实例分割。
• .json 文件：使用 scan2cad 数据格式提供的标注文件。

使用前的预处理

• ShapeNet CAD 模型预处理：需要对 ShapeNet CAD 模型进行中心化和尺度归一化处理，以生成与标注兼容的干净 CAD 模型。

数据下载与预处理

数据下载

• ScanNet 示例场景：下载并解压到 /data/ScanNet/scans。
• ShapeNetV2 数据集：下载并解压到 /data/ShapeNet。
• 标注数据：下载并解压到 /data/ScanNet/annotations。

ShapeNet CAD 模型预处理

• 运行脚本 run_shapenet_prepro.sh 进行预处理。

安装要求和设置

• 克隆本仓库并安装 PyTorch3D。
• 安装其他依赖包：scikit-image, matplotlib, imageio, plotly, opencv-python, open3d, trimesh==3.10.2。

标注格式

• scan2cad 格式：提供了一个包含 1513 个条目的 full_annotions_scannotate.json 文件，每个条目包含场景 ID、变换矩阵、对齐模型列表等信息。

可视化标注

• 使用 visualize_annotations.sh 脚本进行标注可视化。

ShapeNet 对象对称性标注

• 提供了所有考虑类别的 CAD 模型的自动生成对称标签。
• 对称标签的生成方法是通过渲染深度图并比较旋转前后的差异来确定的。

引用

• 如果使用本数据集或代码，请引用相关的论文。