Radiological-pollution-monitoring-anomaly-detection

该项目包括多个与gamma辐射、湿度、大气压力、温度和合成噪声相关的数据集。数据集包括2015年每月的gamma辐射水平测量、湿度数据、大气压力数据、温度数据和合成高斯白噪声数据。

This project includes multiple datasets related to gamma radiation, humidity, atmospheric pressure, temperature, and synthetic noise. The datasets consist of monthly gamma radiation level measurements, humidity data, atmospheric pressure data, temperature data, and synthesized Gaussian white noise data collected in 2015.

原始信息汇总

放射性污染监测异常检测数据集

数据集概述

该项目专注于使用伽马光子计数传感器进行放射性污染的连续监测。主要目标是应用无监督学习方法分析未标记的数据集，以检测和标记时间序列数据中的异常。

数据集内容

项目包含多个与伽马辐射、湿度、大气压力、温度和合成噪声相关的数据集。具体包括：

1. 2015_months_DebitDoseA.csv

   • 包含2015年每月伽马辐射水平的主要数据。

2. 2015_months_HYGR.csv

   • 包含2015年每月的湿度数据。

3. 2015_months_PATM.csv

   • 包含2015年每月的大气压力数据。

4. 2015_months_TEMP.csv

   • 包含2015年每月的温度数据。

5. shortMm_0909_1.csv

   • 包含合成高斯白噪声数据。

注意：湿度、压力和温度数据集不用于主要算法，但展示了该方法的其他潜在应用。

异常检测方法

项目中使用了两种主要的异常检测方法：

1. 移动标准差（STD）方法

   • 基于数据的标准差检测异常，识别与均值显著偏离的异常值。

2. LSTM模型的动态阈值法

   • 基于LSTM模型的误差分布设置阈值，使用滑动窗口确定最佳阈值，以检测异常而不假设误差分布。

参考文献

• [1] Shiven Sharma, Colin Bellinger, Nathalie Japkowicz, Rodney Berg, and Kurt Ungar. Anomaly detection in gamma ray spectra: A machine learning perspective. In 2012 IEEE Symposium on Computational Intelligence for Security and Defence Applications, pages 1–8, 2012.
• [2] Harald Breitkreutz, Josef Mayr, Martin Bleher, Stefan Seifert, and Ulrich Stöhlker. Identification and quantification of anomalies in environmental gamma dose rate time series using artificial intelligence. Journal of Environmental Radioactivity, 259-260:107082, 2023.
• [3] Lisa Poirier-Herbeck, Elisabeth Lahalle, Nicolas Saurel, and Sylvie Marcos. Unknown-length motif discovery methods in environmental monitoring time series. In 2022 International Conference on Electrical, Computer and Energy Technologies (ICECET), pages 1–5, Prague, Czech Republic, 2022.
• [4] Yu Gao, Tianshe Yang, Minqiang Xu, and Nan Xing. An unsupervised anomaly detection approach for spacecraft based on normal behavior clustering. In 2012 Fifth International Conference on Intelligent Computation Technology and Automation, pages 478–481. IEEE, 2012.
• [5] Tolga Ergen, Ali H. Mirza, and Suleyman S. Kozat. Unsupervised and semi-supervised anomaly detection with lstm neural networks. arXiv preprint arXiv:1710.09207, 2017.
• [6] Kyle Hundman, Valentino Constantinou, Christopher Laporte, Ian Colwell, and Tom Soderstrom. Detecting spacecraft anomalies using lstms and nonparametric dynamic thresholding. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining, KDD ’18, page 387–395, New York, NY, USA, 2018. Association for Computing Machinery.
• [7] Pankaj Malhotra, Lovekesh Vig, Gautam M. Shroff, and Puneet Agarwal. Long short term memory networks for anomaly detection in time series. In The European Symposium on Artificial Neural Networks, 2015.
• [8] Marc Lavielle. Using penalized contrasts for the change-point problem. Signal Processing, 85(8):1501–1510, 2005.
• [9] Yoshinobu Kawahara and Masashi Sugiyama. Sequential change-point detection based on direct density-ratio estimation. Statistical Analysis and Data Mining, 5(2):114–127, 2012.
• [10] Kristina P. Sinaga and Miin-Shen Yang. Unsupervised k-means clustering algorithm. IEEE Access, 8:80716–80727, 2020.

搜集汇总

数据集介绍

构建方式

该数据集聚焦于通过伽马光子计数传感器对放射性污染进行连续监测。其构建方式包括收集2015年每月的伽马辐射水平、湿度、大气压力和温度数据，以及合成的高斯白噪声数据。这些数据被组织为多个CSV文件，每个文件代表不同的环境参数。数据集的构建旨在为无监督学习方法提供丰富的数据源，以便在时间序列数据中检测和标记异常。

特点

此数据集的显著特点在于其多维度的数据结构，涵盖了放射性污染监测中的关键环境参数。此外，数据集还包含合成噪声数据，增强了模型的鲁棒性。数据集的设计不仅支持传统的异常检测方法，如移动标准差法，还特别适用于基于长短期记忆网络（LSTM）的动态阈值异常检测方法，显示出在复杂环境监测中的广泛应用潜力。

使用方法

使用该数据集时，首先需安装相关依赖，通过运行`pip install -r requirements.txt`命令。随后，用户可以选择使用LSTM模型或移动标准差方法进行异常检测。LSTM模型的训练过程包括数据准备、模型训练和阈值确定，而移动标准差方法则直接基于数据的标准差进行异常识别。用户可根据具体需求选择合适的检测方法，并通过分析结果文件进一步优化模型性能。

背景与挑战

背景概述

放射性污染监测异常检测数据集（Radiological-pollution-monitoring-anomaly-detection）聚焦于利用伽马光子计数传感器进行连续放射性污染监测。该项目的主要目标是应用无监督学习方法分析未标记数据集，旨在随着时间序列数据的新样本到来，检测并标记异常。该数据集由多个与伽马辐射、湿度、大气压力、温度及合成噪声相关的数据集组成，涵盖2015年的月度测量数据。通过使用长短期记忆（LSTM）模型和移动标准差（STD）方法，该项目展示了在放射性污染监测领域中检测异常的潜力。

当前挑战

该数据集面临的挑战主要包括：首先，放射性污染监测数据的复杂性和噪声特性使得异常检测变得困难。其次，无监督学习方法的应用需要处理未标记数据，这增加了模型训练的复杂性。此外，LSTM模型在检测异常时可能会产生误报，需要进一步优化以提高准确性。最后，动态阈值的确定是一个关键问题，需要在不假设错误分布的情况下，通过滑动窗口方法来确定最佳阈值。

常用场景

经典使用场景

在放射性污染监测领域，Radiological-pollution-monitoring-anomaly-detection数据集的经典使用场景主要集中在通过伽马光子计数传感器进行连续监测。该数据集通过无监督学习方法，对未标记的时间序列数据进行分析，旨在实时检测并标记异常。具体而言，数据集包括了2015年每个月的伽马辐射水平、湿度、大气压力和温度数据，以及合成的高斯白噪声数据。这些数据为研究人员提供了一个全面的环境监测框架，特别是在放射性污染的异常检测方面。

解决学术问题

该数据集在学术研究中解决了放射性污染监测中的关键问题，即如何在没有先验知识的情况下，自动检测环境中的异常。通过应用无监督学习方法，如长短期记忆网络（LSTM）和移动标准差（STD）方法，数据集能够有效地识别出与正常模式显著偏离的异常。这不仅提高了放射性污染监测的准确性和效率，还为相关领域的研究提供了新的方法和工具，具有重要的学术价值和实际意义。

衍生相关工作

基于Radiological-pollution-monitoring-anomaly-detection数据集，许多相关研究工作得以展开。例如，Sharma等人提出了基于机器学习的伽马射线谱异常检测方法，Breitkreutz等人则利用人工智能技术对环境伽马剂量率时间序列中的异常进行识别和量化。此外，Poirier-Herbeck等人在环境监测时间序列中探索了未知长度的模式发现方法，而Hundman等人则开发了基于LSTM和非参数动态阈值的航天器异常检测技术。这些研究不仅丰富了放射性污染监测的理论基础，还推动了相关技术的实际应用和发展。