UMAD

UMAD数据集由澳门大学智能城市物联网国家重点实验室创建，是一个大规模的基于参考的异常检测数据集，捕捉真实世界场景。该数据集包含6个不同场景，120个序列，26k图像对和140k对象注释标签。数据集通过高精度对齐和细粒度注释，在多样化的光照条件下捕捉图像，为基于参考的异常检测任务建立了一个全面的基准。数据集的创建过程涉及使用移动机器人沿预定路线在不同时间捕获参考和查询序列，并通过自适应扭曲方法对图像进行像素级对齐。UMAD数据集主要应用于机器人巡逻场景中的异常检测，旨在通过比较参考和查询图像序列来识别异常对象。

The UMAD dataset was created by the State Key Laboratory of Internet of Things for Smart City, University of Macau. It is a large-scale reference-based anomaly detection dataset that captures real-world scenarios. This dataset includes 6 distinct scenarios, 120 sequences, 26k image pairs, and 140k object annotation labels. Capturing images under diverse lighting conditions with high-precision alignment and fine-grained annotations, the dataset establishes a comprehensive benchmark for reference-based anomaly detection tasks. The dataset creation process involves using mobile robots to capture reference and query sequences along pre-planned routes at different times, and performing pixel-level alignment on images via adaptive warping methods. The UMAD dataset is primarily applied to anomaly detection in robotic patrol scenarios, aiming to identify anomalous objects by comparing reference and query image sequences.

原始信息汇总

UMAD: University of Macau Anomaly Detection Benchmark Dataset

基本信息

• 发布时间: IROS, 2024.
• 作者:
  • Dong Li
  • Lineng Chen
  • Cheng-Zhong Xu
  • Hui Kong†
• 机构: University of Macau
• 对应作者: Hui Kong

数据集状态

• 已公开:
  • 项目论文已公开
• 待公开:
  • UMAD数据集
  • UMAD-homo-eval数据集
  • 相关代码

数据集结构

• 异常检测基准
• 变化检测基准

致谢

感谢以下人员对数据收集和数据标注的贡献：

• Xiangyu QIN
• Shenbo WANG
• Kaijie YIN
• Shuhao ZHAI
• Xiaonan LI
• Beibei ZHOU
• Hongzhi CHENG

许可证

数据集和代码基于MIT许可证发布。

引用

如需引用该工作，请使用以下格式：

@article{li2024umad, author = {Li, Dong and Chen, Lineng and Xu, Cheng-Zhong and Kong, Hui}, title = {UMAD: University of Macau Anomaly Detection Benchmark Dataset}, journal = {arXiv preprint arXiv:2408.12527}, year = {2024}, }

搜集汇总

数据集介绍

构建方式

UMAD数据集的构建方式是在澳门大学的智能城市物联网国家重点实验室的支持下，使用搭载有Intel RealSense D435i相机和Livox Mid-360激光雷达传感器的Giraffe地面机器人进行数据采集。首先，通过手动控制机器人在无异常物体的情况下沿着预定路线收集参考序列，并使用激光雷达-惯性SLAM技术估计机器人的位姿和建立场景的3D点云地图。然后，在包含手动放置的异常物体的相同场景中，再次重复相同的路线以收集查询序列。为了确保数据多样性，每个场景都收集了至少三套参考序列和六套查询序列。在数据预处理阶段，利用机器人定位和预建的3D地图，找到查询图像对应的参考图像，并使用自适应图像扭曲方法进行精确对齐，以便于后续的异常检测。最后，使用Segment Anything Model (SAM)进行辅助标注，并对图像进行像素级的真实标注，包括异常物体、人物、动态车辆和移动物体等七种语义对象类别。

特点

UMAD数据集的特点在于其高精度对齐和细粒度标注。数据集包含六个不同的场景，120个序列，26,000个图像对，以及140,000个对象标注标签。图像是在多种光照条件下拍摄的，并且每个查询图像都可以在预建的3D地图中找到相应的参考图像，从而进行几何对齐。此外，数据集还提供了四种语义标签，包括异常物体、天气、光线和动态物体，以及新增或缺失的物体。UMAD数据集是目前第一个专门为机器人巡逻场景中的参考异常检测设计的基准数据集，它能够帮助研究人员评估和开发新的异常检测方法。

使用方法

使用UMAD数据集进行异常检测的方法主要包括以下步骤：首先，根据预建的3D地图和机器人定位，找到查询图像对应的参考图像。然后，使用自适应图像扭曲方法对参考图像和查询图像进行精确对齐。接着，对图像进行像素级的真实标注，包括异常物体、人物、动态车辆和移动物体等。最后，利用标注好的数据集训练和评估异常检测模型，例如使用二元异常检测或多元异常检测等方法。在二元异常检测中，模型直接检测图像对之间的异常变化，而忽略非异常变化，如动态物体。在多元异常检测中，模型首先检测所有变化，然后进一步区分常见变化和异常变化。通过在UMAD数据集上进行实验，研究人员可以评估和比较不同异常检测方法的性能，并为未来异常检测方法的发展提供参考。

背景与挑战

背景概述

UMAD数据集，即澳门大学异常检测基准数据集，由Dong Li等人于2024年创建，旨在为机器人巡逻场景下的异常检测提供大规模的参考。UMAD数据集包含6个不同场景、120个序列、26k图像对和140k对象标注标签，捕捉了现实世界场景中的动态车辆、异常对象、地平线人和移动对象等。该数据集采用高精度对齐和细粒度标注，为基于参考的异常检测任务提供了一个大型全面的基准。UMAD数据集的创建填补了该领域的空白，为异常检测方法的研究和发展提供了新的机遇。

当前挑战

UMAD数据集面临的挑战主要包括：1) 实现高精度对齐：为了确保参考图像和查询图像之间的语义变化可以被准确检测，UMAD数据集采用了自适应图像扭曲方法来实现像素级的对齐。然而，在实际应用中，由于视角变化和光照条件的变化，图像对齐仍然是一个挑战。2) 异常对象多样性：尽管UMAD数据集包含了多种异常对象，但由于异常对象的稀有性和新颖性，仍然难以收集足够大和多样化的异常数据集来促进异常模式的全面学习。3) 模型实时部署：尽管UMAD数据集为异常检测方法的研究提供了新的机遇，但由于计算成本高，基于生成模型和预训练多模态大语言模型的异常检测方法在移动机器人上的实时部署仍然是一个挑战。

常用场景

经典使用场景

UMAD数据集的经典应用场景是在机器人巡逻系统中进行异常检测。该数据集包含了多种场景下的图像对，通过比较参考图像和查询图像之间的语义变化，可以有效地识别出异常区域，为监控系统和巡逻机器人提供早期预警。

衍生相关工作

UMAD数据集的提出，推动了异常检测领域的研究。基于UMAD数据集，研究人员提出了多种异常检测方法，例如基于深度学习的异常检测方法、基于生成模型的异常检测方法等。这些方法在UMAD数据集上取得了很好的效果，为异常检测领域的研究提供了新的思路和方法。

数据集最近研究

最新研究方向

在UMAD数据集的基础上，最新的研究方向主要集中在如何提高基于参考的异常检测（ADr）的性能。研究者们试图通过比较参考图像和查询图像之间的语义变化来识别异常区域。这一方向的重要性在于，它可以帮助监控系统和巡逻机器人早期预警，从而在异常情况发生时迅速采取措施。UMAD数据集为这一研究提供了大量的图像对和标签，为研究者们提供了一个综合性的基准，以便于他们评估和改进ADr模型。此外，UMAD数据集还包含了一个自适应图像变形方法，可以帮助实现像素级别的图像对齐，从而进一步提高异常检测的准确性。

相关研究论文

• UMAD: University of Macau Anomaly Detection Benchmark Dataset

  澳门特别行政区科学技术发展基金 · 2024年