SiM3D

SiM3D数据集是首个集成了多视角和多模态信息的3D异常检测和分割（ADS）基准数据集。数据集包含333个实例的8种类型对象的12 Mpx高分辨率图像和点云（约7M个点），以及每种类型的CAD模型。此外，还提供了手动标注的3D分割GTs用于异常测试样本。数据集旨在促进多视角3D ADS方法的发展，并提供一个可以从中训练和测试的基准数据集。

The SiM3D dataset is the first benchmark dataset for 3D anomaly detection and segmentation (ADS) that integrates multi-view and multi-modal information. It includes 12 Mpx high-resolution images and point clouds (approximately 7 million points) for 333 instances across 8 object categories, alongside CAD models for each category. In addition, manually annotated 3D segmentation ground truths (GTs) for anomalous test samples are provided. This dataset is designed to advance the development of multi-view 3D ADS methods and provide a standardized benchmark for model training and testing.

搜集汇总

数据集介绍

构建方式

SiM3D数据集通过高精度工业传感器和机器人采集多视角高分辨率图像（12 Mpx）和点云（约7M点），涵盖8类物体的333个实例，并为每类物体提供CAD模型。数据采集过程中，采用360度扫描操作，确保从多个角度捕获物体信息。此外，数据集还包含手动标注的3D分割真值，用于异常测试样本的精确评估。

使用方法

SiM3D数据集可用于训练和评估多视角多模态3D异常检测与分割方法。用户可以通过提供的多视角图像和3D数据（点云或深度图）进行模型训练，并生成3D异常体积（Anomaly Volume）作为输出。数据集还支持两种实验设置：real2real（使用真实训练数据）和synth2real（使用合成训练数据），以评估模型在不同域间的泛化能力。

背景与挑战

背景概述

SiM3D数据集由意大利博洛尼亚大学CVLab团队与SACMI Imola公司于2025年联合推出，是首个专注于多视角、多模态三维异常检测与分割（3D ADS）的基准数据集。该数据集针对制造业中单实例训练的典型场景，创新性地引入从合成数据（CAD模型）到真实数据的跨域泛化挑战，包含8类工业制品的高精度三维扫描数据（1200万像素灰度图像及约700万点云点）。作为MVTec AD系列研究的延续，SiM3D通过提供体素化异常体积（Anomaly Volume）的标注标准，推动了工业质检从二维异常定位向三维空间精确检测的范式转变。

当前挑战

SiM3D面临的核心挑战体现在两个维度：领域问题层面，现有方法难以处理高分辨率点云（约700万点）的多模态特征融合，且单实例训练下的模型泛化能力显著不足，合成到真实场景的域适应性能平均下降31.2%（V-AUPRO指标）；数据构建层面，多视角点云配准的毫米级精度要求、跨模态（2D图像与3D几何）缺陷标注的一致性保障，以及工业级传感器（ZEISS Atos Q）复杂标定流程均为数据集构建带来技术壁垒。尤其突出的是，现有三维骨干网络无法直接处理百万级点云，迫使研究者采用降采样或深度图转换等次优方案。

常用场景

经典使用场景

SiM3D数据集在工业制造领域的3D异常检测与分割（ADS）任务中具有经典应用场景。该数据集通过整合多视角和多模态信息，为研究者提供了一个全面的3D异常检测基准。其典型应用包括在单实例训练场景下，利用真实或合成的单一对象进行模型训练，从而实现对制造过程中微小缺陷的精确检测与定位。

解决学术问题

SiM3D数据集解决了工业场景中异常检测的多个关键学术问题。首先，它填补了现有基准在3D异常检测任务中的空白，通过提供高分辨率的3D点云和多视角图像数据，支持精确的缺陷定位。其次，数据集首次探索了从合成数据到真实数据的泛化问题，为跨域异常检测研究提供了新的挑战和机遇。此外，其单实例训练设置减少了数据收集的负担，推动了少样本异常检测方法的发展。

实际应用

SiM3D数据集在实际工业应用中具有广泛潜力。例如，在自动化生产线上，该数据集可用于训练模型检测产品表面的几何缺陷（如凹痕）或外观缺陷（如划痕）。其多模态特性（结合图像和点云数据）使得模型能够同时利用视觉和结构信息，提高检测的鲁棒性。此外，数据集的合成到真实泛化能力为实际生产中难以获取大量真实缺陷样本的场景提供了解决方案。

数据集最近研究

最新研究方向

在计算机视觉领域，三维异常检测与分割（3D ADS）正逐渐成为工业制造质量监控的核心技术。SiM3D作为首个融合多视角与多模态信息的3D ADS基准数据集，通过集成高分辨率灰度图像（12 Mpx）与密集点云（约700万点），为单实例训练场景下的合成数据到真实数据泛化问题提供了系统性研究平台。该数据集创新性地引入基于体素的异常体积（Anomaly Volume）输出形式，突破了传统二维异常检测的局限性，直接支持三维缺陷定位，为智能制造中的精确维修与废品控制提供了技术基础。当前研究热点集中于开发能有效融合多视角信息的深度学习架构、解决合成-真实域适应的鲁棒算法，以及设计适用于高分辨率点云处理的轻量化三维特征提取器，这些方向将显著推动工业检测系统在少样本条件下的自动化水平。

相关研究论文

• SiM3D: Single-instance Multiview Multimodal and Multisetup 3D Anomaly Detection Benchmark

  CVLab, University of Bologna, Italy; SACMI Imola, Italy · 2025年