RAD

RAD是一个用于现实生活中的异常检测与机器人观察的数据集和基准。它包含了4765张图像，跨越13个类别和4种缺陷类型，从超过50个视角收集，提供了一个全面且现实的基准。该数据集支持3D多视角重建算法，并提出了数据增强方法以提高姿态估计的准确性。

RAD is a dataset and benchmark tailored for real-world anomaly detection and robotic perception tasks. It comprises 4,765 images spanning 13 categories and 4 defect types, collected from over 50 distinct viewpoints, thus providing a comprehensive and realistic benchmark for relevant research. This dataset supports 3D multi-view reconstruction algorithms, and additionally proposes targeted data augmentation methods to enhance the accuracy of pose estimation.

原始信息汇总

RAD: 真实世界异常检测数据集与基准

概述

RAD（Realistic Anomaly Detection）是一个多视角RGB异常检测数据集，由真实机器人臂采集，包含4765张图像，涵盖13个类别和4种缺陷类型。数据集通过超过50个视角采集，旨在模拟真实世界条件下的异常检测场景。

主要贡献

• 数据集介绍：首个真实世界多视角异常检测数据集，涵盖超过10个对象类别和纹理及几何缺陷。
• NAD挑战：提出基于噪声姿态的异常检测（NAD）挑战，评估算法在真实机器人场景中的鲁棒性。
• 预处理方法：引入高级数据预处理技术，处理多视角和点云数据集中的噪声和不一致数据。
• 算法评估：评估2D RGB、3D多视角和3D点云算法，突出其优缺点。

数据集描述

数据采集

• 数据标注：提供详细的标注信息，包括缺陷类型和位置。
• 异常类型：模拟四种常见工业缺陷：划痕、缺失、污渍和挤压。

数据统计

• 样本总数：5848个样本，分布在12个不同对象中，涵盖厨房用品、玩具和日常用品。
• 多样性：类别在形状和外观上具有显著多样性，提供广泛的语义和几何探索空间。
• 元数据：每张图像包含相机姿态元数据，用于细致分析和模型训练增强。

数据目录

数据集结构与PAD和MVTec相似，便于基准测试。数据可通过Google Drive下载。

RAD └ binderclip ---对象类别文件夹 └ train ---训练集 └ good ---无缺陷训练图像 └ num.png └ test ---测试集 └ missing ---缺失缺陷图像 └ num.png └ scratched ---划痕缺陷图像 └ squeezed ---挤压缺陷图像 └ stained ---污渍缺陷图像 └ good ---无缺陷图像 └ ground_truth ---各种缺陷的GT分割掩码 └ missing └ num_mask.png └ scratched └ squeezed └ stained └ transforms.json ---相机角度和图像变换矩阵信息 └ box ...

姿态估计与3D重建

提出一种管道来估计不同视角的姿态，并应用3D重建创建3D点云，便于3D点云异常检测算法的使用。

基准运行

评估了多种2D和3D重建异常检测方法，包括FastFlow、STPM、CFA、cflow、CDO、UniAD、FAVAE、PAD和Splat。结果显示，2D和3D重建方法在不同类别上表现各异，主要受训练和测试集之间的对齐问题和光照条件变化的影响。

模型	类别	blinder.	bowl.	box	can	charger	cup1.	cup2.
FastFlow [1]	P-ROC	65.33%	67.90%	74.60%	66.30%	99.50%	65.60%	71.15%
	I-ROC	89.60%	78.70%	97.80%	88.10%	81.10%	86.60%	71.43%
STPM [2]	P-ROC	67.83%	73.50%	78.50%	67.60%	55.80%	74.90%	74.15%
	I-ROC	75.87%	70.90%	87.10%	72.40%	88.50%	88.30%	71.15%
CFA [3]	P-ROC	68.41%	70.29%	76.78%	67.58%	79.01%	75.14%	72.53%
	I-ROC	88.60%	79.44%	99.67%	89.43%	92.62%	93.87%	71.30%
cflow [4]	P-ROC	68.45%	73.70%	79.26%	67.78%	71.18%	75.72%	74.52%
	I-ROC	85.38%	83.76%	99.89%	92.41%	91.80%	93.87%	73.33%
CDO [5]	P-ROC	96.42%	60.33%	84.67%	87.77%	97.15%	81.85%	60.63%
	I-ROC	58.63%	64.89%	72.06%	50.53%	66.96%	43.82%	84.10%
UniAD [6]	P-ROC	98.75%	93.88%	98.58%	98.69%	97.88%	95.56%	92.28%
	I-ROC	66.30%	43.09%	71.02%	59.53%	64.62%	59.71%	51.81%
FAVAE [7]	P-ROC	57.20%	57.30%	35.50%	83.90%	59.60%	45.70%	62.60%
	I-ROC	49.10%	53.50%	52.10%	33.50%	53.40%	60.70%	29.50%
PAD [8]	P-ROC	90.50%	75.80%	90.30%	98.10%	97.30%	96.10%	79.20%
	I-ROC	48.00%	37.00%	62.00%	46.30%	51.50%	48.50%	54.40%
Splat [9]	P-ROC	98.30%	96.80%	97.90%	98.20%	99.70%	98.00%	97.45%
	I-ROC	52.07%	80.60%	55.50%	37.70%	57.40%	81.20%	48.10%

模型	类别	glue.	phone.	rubber.	spoon.	spray.	tennis.	Aver.
FastFlow [1]	P-ROC	75.60%	74.43%	73.40%	72.00%	74.00%	71.00%	73.14%
	I-ROC	77.85%	94.78%	97.10%	82.30%	85.50%	98.00%	86.83%
STPM [2]	P-ROC	76.75%	82.35%	73.80%	72.60%	74.60%	72.00%	72.64%
	I-ROC	69.75%	85.85%	77.00%	79.90%	82.80%	98.00%	80.58%
CFA [3]	P-ROC	76.40%	74.33%	71.71%	74.96%	73.63%	84.39%	74.24%
	I-ROC	80.46%	93.60%	78.03%	86.53%	84.28%	97.00%	87.29%
cflow [4]	P-ROC	77.00%	76.35%	74.12%	77.18%	76.79%	79.07%	74.70%
	I-ROC	81.06%	95.96%	98.50%	89.85%	83.02%	98.00%	89.76%
CDO [5]	P-ROC	95.93%	87.86%	90.47%	97.21%	83.12%	97.50%	86.22%
	I-ROC	75.57%	63.65%	46.14%	70.76%	52.98%	55.27%	61.95%
UniAD [6]	P-ROC	97.97%	97.57%	98.16%	99.31%	98.01%	99.35%	97.38%
	I-ROC	56.37%	71.88%	65.50%	75.92%	57.90%	68.53%	62.48%
FAVAE [7]	P-ROC	60.10%	24.60%	90.40%	59.40%	55.40%	87.50%	60.20%
	I-ROC	66.40%	70.40%	39.10%	61.00%	55.30%	54.50%	50.30%
PAD [8]	P-ROC	87.30%	89.70%	88.20%	85.40%	94.30%	85.10%	91.20%
	I-ROC	71.30%	69.50%	70.20%	61.40%	68.20%	64.50%	66.20%
Splat [9]	P-ROC	99.12%	98.10%	99.80%	97.30%	97.20%	95.80%	96.20%
	I-ROC	66.30%	71.00%	53.40%	57.40%	73.60%	68.10%	62.50%

搜集汇总

数据集介绍

构建方式

在构建RAD数据集时，研究团队精心设计了多视角的异常检测场景，通过机器人观测系统采集真实世界中的数据。数据集涵盖了厨房用品、玩具和日常用品等多个领域，共计4287个样本，分布在13个不同的类别中。为了确保数据集的实用性和挑战性，团队模拟了四种常见的工业缺陷：划痕、缺失、污渍和挤压。此外，数据集还包含了用于训练和测试的图像，以及相应的地面真值掩码，以支持异常检测算法的评估和开发。

使用方法

使用RAD数据集时，研究人员可以下载包含掩码和不包含掩码的两个版本，以适应不同的实验需求。数据集的目录结构遵循PAD和MVTec的标准，便于与现有方法进行比较。为了进一步支持多视角异常检测的研究，数据集还提供了相机角度和图像变换矩阵的信息。此外，团队提供了预处理方法和示例代码，帮助用户提高姿态估计的质量，并将其转换为适用于3D高斯喷射的格式。

背景与挑战

背景概述

RAD数据集，由Kaichen Zhou、Yang Cao、Taewhan Kim、Hao Zhao、Hao Dong、Kai Ming Ting和Ye Zhu等研究人员共同创建，旨在为现实生活中的异常检测提供一个多视角的机器人观察数据集。该数据集的核心研究问题是如何在复杂且多变的工业环境中，通过机器人观察来准确识别和分类异常。RAD数据集的构建不仅填补了该领域的空白，还为异常检测算法的研究和评估提供了宝贵的资源。其影响力在于推动了基于机器人观察的异常检测技术的发展，并为相关领域的研究者提供了新的研究方向和挑战。

当前挑战

RAD数据集在构建和应用过程中面临多项挑战。首先，数据集需要模拟工业环境中常见的缺陷，如划痕、缺失、污渍和挤压，这要求高精度的数据模拟和标注。其次，数据集的多视角特性增加了数据处理的复杂性，特别是在姿态估计和3D重建方面，需要精确的预处理技术来提高数据质量。此外，RAD数据集还提出了基于噪声姿态的异常检测（NAD）挑战，这是当前多视角方法在实际应用中面临的主要难题。这些挑战不仅考验了数据集的构建质量，也推动了异常检测算法在复杂环境中的适应性和鲁棒性研究。

常用场景

经典使用场景

在工业自动化领域，RAD数据集的经典使用场景主要集中在机器人视觉系统的异常检测任务中。该数据集通过模拟四种常见的工业缺陷——划痕、缺失、污渍和挤压，为研究人员提供了一个真实且多视角的异常检测环境。通过结合机器人观察数据，RAD数据集能够有效评估和提升异常检测算法的鲁棒性和准确性，特别是在处理复杂工业场景中的多视角图像时。

解决学术问题

RAD数据集解决了在工业环境中进行异常检测时面临的多个学术研究问题。首先，它提供了一个多视角的异常检测基准，有助于研究者在不同视角下评估算法的性能。其次，通过引入噪声姿态异常检测（NAD）挑战，RAD数据集推动了对复杂工业环境中噪声和不确定性处理的研究。此外，数据集中的预处理方法和算法评估也为异常检测技术的实际应用提供了重要的理论支持。

实际应用

在实际应用中，RAD数据集被广泛用于工业自动化生产线上的质量控制和故障检测。例如，在制造过程中，机器人视觉系统可以利用RAD数据集训练的模型，实时检测产品表面的缺陷，如划痕、污渍等，从而及时调整生产流程，减少次品率。此外，该数据集还可用于智能家居和消费电子产品的质量检测，提升用户体验和产品可靠性。

数据集最近研究

最新研究方向

在机器人视觉与异常检测领域，RAD数据集的引入为研究者提供了一个全新的实验平台。该数据集不仅包含了多视角的机器人观察数据，还模拟了工业环境中常见的四种异常类型：划痕、缺失、污渍和挤压。这些特性使得RAD数据集在评估异常检测算法的鲁棒性方面具有显著优势。当前的研究方向主要集中在利用多视角数据进行异常检测，特别是通过改进姿态估计和3D重建技术来提高检测精度。此外，数据预处理方法的优化也成为研究热点，旨在提升原始数据的质量，从而增强算法的性能。这些研究不仅推动了异常检测技术在实际工业应用中的发展，也为未来更复杂的机器人视觉任务奠定了基础。