移动机器人数据集

本研究构建了一个新的多模态异常检测数据集，包含音频、IMU、LiDAR和图像数据，收集于正常和故障条件下。该数据集用于评估所提出的Mahalanobis SVDD模型，以及四个公共数据集，以展示其在异常检测任务中的优越性能。

This study develops a novel multimodal anomaly detection dataset encompassing audio, IMU, LiDAR and image data collected under both normal and faulty operating conditions. This dataset, together with four public datasets, is utilized to evaluate the proposed Mahalanobis SVDD model, thereby demonstrating its superior performance in anomaly detection tasks.

原始信息汇总

数据集概述

数据集名称

Audio-Inertia Fusion for Anomaly Detection in Autonomous Mobile Robots Based on Mahalanobis SVDD

数据集内容

• 包含用于自主移动机器人异常检测的音频和惯性数据。
• 数据集以ROS bag格式存储，包含多模态数据。

数据集获取

• 下载链接：https://entuedu-my.sharepoint.com/:u:/g/personal/yizhuo001_e_ntu_edu_sg/EbQAP08fM_5LvZqfEVBX7BUBNH7RfH1T1OE26DDRPsigow?e=gmIETT
• ROS bag格式的多模态数据将后续上传。

相关技术

• 基于Mahalanobis SVDD的异常检测方法。
• 使用PyTorch、TorchAudio和DeepOD库进行模型训练和评估。

模型训练与评估

• 训练脚本：GSVDD_train.py
• 评估脚本：GSVDD_test.ipynb
• 配置文件：config/config.json

参考文献

• TranAD：TranAD Repository
• DeepOD：DeepOD Repository

搜集汇总

数据集介绍

构建方式

移动机器人数据集的构建采用了多模态数据采集策略，涵盖了音频、惯性测量单元（IMU）、激光雷达（LiDAR）以及图像数据。数据采集在室内外不同环境下进行，包括正常行驶状态及异常场景（如碰撞和机械故障）。音频信号以4410Hz采样率降噪处理，IMU数据则专注于Z轴速度特征以增强异常敏感性。通过2秒时间窗分割和Z-score标准化预处理，确保了数据的一致性和可分析性。数据标注采用无监督框架，仅依赖正常数据训练模型，异常数据用于测试验证。

特点

该数据集的核心特点在于其多模态融合与无监督学习适配性。音频和IMU传感器提供了互补的异常感知维度：前者捕捉机械故障的声学特征，后者监测振动与加速度异常。数据覆盖了真实场景的多样性，包括不同路面条件和背景噪声。其创新性体现在采用马氏距离支持向量数据描述（M-SVDD）框架，通过协方差矩阵建模特征间相关性，克服了传统欧氏距离假设特征独立的局限性。重建分支的引入进一步防止了特征空间坍塌，增强了异常检测的鲁棒性。

使用方法

数据集的使用需遵循无监督学习范式。首先将标准化后的音频和IMU序列输入CRNN和LSTM编码器提取特征，通过交叉注意力机制实现跨模态融合。训练阶段仅需正常数据优化M-SVDD的椭球边界，测试时结合马氏距离与重建误差计算异常分数。阈值设定为训练样本异常分数的95%分位数，超过即判定为异常。该框架可直接应用于其他多模态时序数据，如工业设备监测，通过调整编码器结构适配不同传感器输入。

背景与挑战

背景概述

移动机器人数据集由南洋理工大学电气与电子工程学院的研究团队于2025年创建，旨在解决自主机器人在动态和非结构化环境中的异常检测问题。该数据集整合了音频、IMU、LiDAR和图像等多模态数据，特别关注碰撞和内部机械故障等异常情况的检测。其创新性在于采用无监督学习方法，通过Mahalanobis支持向量数据描述（M-SVDD）框架，有效利用正常操作数据进行训练，显著提升了异常检测的鲁棒性和准确性。该数据集为自主机器人的安全运行提供了重要支持，推动了多模态传感器融合在机器人异常检测领域的应用。

当前挑战

移动机器人数据集面临的挑战主要包括两方面：在领域问题层面，传统基于视觉或LiDAR的异常检测方法在恶劣环境条件下性能显著下降，且难以捕捉内部机械故障等非语义异常；此外，异常数据的稀缺性和多样性使得监督学习方法难以泛化。在构建过程层面，多模态数据（如音频与IMU）的时序对齐与特征融合具有较高复杂度，需解决传感器噪声干扰和跨模态特征相关性建模问题。同时，无监督训练中需避免特征空间坍塌，并平衡重构误差与异常评分之间的权重。

常用场景

经典使用场景

移动机器人数据集在自主机器人异常检测领域具有重要应用价值。该数据集通过融合音频和惯性测量单元（IMU）数据，为研究者提供了丰富的多模态信息，特别适用于检测机器人在运行过程中可能遇到的碰撞和内部机械故障等异常情况。其经典使用场景包括在复杂环境中运行的自主机器人系统，如室内服务机器人、户外巡检机器人等，这些场景下传统基于视觉或激光雷达的检测系统可能因环境变化而失效。

解决学术问题

该数据集有效解决了自主机器人领域多个关键学术问题。首先，它突破了传统异常检测方法对标记数据的依赖，通过无监督学习框架实现了仅需正常操作数据即可训练的高效检测。其次，提出的基于马氏距离的支持向量数据描述（M-SVDD）方法克服了传统欧氏距离假设各向同性分布的局限性，能够自适应地缩放特征维度并捕捉特征间相关性。此外，数据集通过引入重构辅助分支，防止了特征坍塌问题，显著提升了异常检测的鲁棒性和准确性。

衍生相关工作

该数据集已衍生出多个经典研究方向。基于其提出的M-SVDD框架，研究者们开发了适用于工业制造设备的振动异常检测系统；其跨模态注意力融合机制被应用于无人机状态监测领域。数据集还启发了时序异常检测的新方法，如结合时空图神经网络的硬件故障预测模型。在理论层面，该工作推动了马氏距离在深度异常检测中的应用研究，相关改进算法已在风电设备监测等多个工业场景得到验证。