HDFS, BGL, Liberty, Thunderbird|日志分析数据集|异常检测数据集

该仓库包含四个数据集：HDFS、BGL、Liberty和Thunderbird。这些数据集用于基于日志的异常检测实验，每个数据集都提供了日志消息数量、日志序列数量、训练和测试数据中的异常数量及异常比例等详细统计信息。

原始信息汇总

LogLLM: Log-based Anomaly Detection Using Large Language Models

数据集统计

数据集	# 日志消息	# 日志序列	训练数据 # 日志序列	训练数据 # 异常	训练数据 异常比率	测试数据 # 日志序列	测试数据 # 异常	测试数据 异常比率
HDFS	11,175,629	575,061	460,048	13497	2.93%	115013	3341	2.90%
BGL	4,747,963	47,135	37,708	4009	10.63%	9427	817	8.67%
Liberty	5,000,000	50,000	40000	34144	85.36%	10000	651	6.51%
Thunderbird	10,000,000	99,997	79,997	837	1.05%	20000	29	0.15%

实验结果

模型	日志解析器	HDFS 精度	HDFS 召回率	HDFS F1	BGL 精度	BGL 召回率	BGL F1	Liberty 精度	Liberty 召回率	Liberty F1	Thunderbird 精度	Thunderbird 召回率	Thunderbird F1	平均 F1
DeepLog	✔	0.835	0.994	0.908	0.166	0.988	0.285	0.751	0.855	0.800	0.017	0.963	0.033	0.506
LogAnomaly	✔	0.886	0.893	0.966	0.176	0.985	0.299	0.684	0.876	0.768	0.025	0.963	0.050	0.521
PLELog	✔	0.893	0.979	0.934	0.595	0.880	0.710	0.795	0.874	0.832	0.826	0.704	0.760	0.809
FastLogAD	✔	0.721	0.893	0.798	0.167	1.000	0.287	0.151	0.999	0.263	0.008	0.931	0.017	0.341
LogBERT	✔	0.989	0.614	0.758	0.165	0.989	0.283	0.909	0.615	0.734	0.143	0.500	0.222	0.499
LogRobust	✔	0.961	1.000	0.980	0.696	0.968	0.810	0.695	0.979	0.813	0.318	1.000	0.482	0.771
CNN	✔	0.966	1.000	0.982	0.698	0.965	0.810	0.580	0.914	0.709	0.900	0.670	0.766	0.817
NeuralLog	✘	0.971	0.988	0.979	0.792	0.884	0.835	0.875	0.926	0.900	0.794	0.931	0.857	0.893
RAPID	✘	1.000	0.859	0.924	0.874	0.399	0.548	0.911	0.611	0.732	0.200	0.207	0.203	0.602
LogLLM	✘	0.994	1.000	0.997	0.861	0.979	0.916	0.992	0.926	0.958	0.966	0.966	0.966	0.959

AI搜集汇总

数据集介绍

构建方式

该数据集的构建基于大规模日志数据，涵盖了HDFS、BGL、Liberty和Thunderbird四个系统。数据集通过滑动窗口和会话窗口技术，从原始日志中提取出日志序列和异常信息。具体而言，对于BGL、Thunderbird和Liberty系统，采用滑动窗口方法，设定特定的起始和结束行数以生成训练和测试数据；而对于HDFS系统，则使用会话窗口方法。生成的数据集包括日志消息、日志序列以及相应的异常标签，异常比例在不同系统中有所差异，从0.15%到85.36%不等。

特点

该数据集的主要特点在于其多样性和广泛的应用场景。首先，数据集涵盖了多种系统日志，包括分布式文件系统（HDFS）、高性能计算（BGL）、网络服务（Liberty）和邮件系统（Thunderbird），这使得数据集在不同领域的异常检测研究中具有广泛的应用价值。其次，数据集中的异常比例差异显著，从极低的0.15%到极高的85.36%，这为模型训练提供了丰富的数据分布，有助于提高模型的鲁棒性和泛化能力。此外，数据集的构建方法确保了日志序列的完整性和异常信息的准确性，为后续的实验和研究提供了可靠的基础。

使用方法

使用该数据集进行实验和研究时，首先需下载并安装所需的依赖包，并配置相应的环境。接着，用户需下载预训练的大型语言模型（如Meta-Llama-3-8B和bert-base-uncased），并根据具体的数据集（如BGL、HDFS、Liberty或Thunderbird）进行数据准备。对于BGL、Thunderbird和Liberty数据集，用户需在prepareData目录下运行sliding_window.py脚本，设定特定的起始和结束行数以生成训练和测试数据；而对于HDFS数据集，则需运行session_window.py脚本。数据准备完成后，用户可以选择直接使用预训练模型或通过train.py脚本进行模型微调。最后，通过eval.py脚本对测试数据集进行评估，以验证模型的性能。

背景与挑战

背景概述

HDFS、BGL、Liberty和Thunderbird数据集是基于日志的异常检测领域的重要资源，由多个研究机构和团队共同创建。这些数据集的核心研究问题集中在利用大规模语言模型（LLM）进行日志异常检测，旨在提高系统日志分析的准确性和效率。自创建以来，这些数据集已成为该领域研究的基础，推动了日志分析技术的发展，并对系统监控和故障诊断产生了深远影响。

当前挑战

这些数据集在构建和应用过程中面临多项挑战。首先，日志数据的规模庞大且复杂，如何高效地处理和分析这些数据是一个主要难题。其次，日志异常检测的准确性依赖于模型的精度和鲁棒性，而现有模型在不同数据集上的表现差异较大，显示出模型泛化能力的不足。此外，数据集的多样性和不均衡性也增加了模型训练和评估的复杂性，需要进一步研究和优化。

常用场景

经典使用场景

在日志异常检测领域，HDFS、BGL、Liberty和Thunderbird数据集被广泛用于训练和评估基于大型语言模型（LLM）的异常检测算法。这些数据集包含了大规模的日志消息和序列，涵盖了不同类型的系统日志，如分布式文件系统、高性能计算集群等。通过这些数据集，研究人员可以开发和验证能够自动识别系统异常行为的模型，从而提高系统的可靠性和安全性。

衍生相关工作

基于这些数据集，研究者们开发了多种日志异常检测模型，如DeepLog、LogAnomaly、PLELog等。这些模型在不同数据集上表现优异，推动了日志异常检测技术的进步。此外，这些数据集还激发了相关领域的研究，如日志数据预处理、特征工程、模型优化等，形成了丰富的研究成果和应用案例。

数据集最近研究

最新研究方向

在日志异常检测领域，基于大型语言模型（LLM）的方法正逐渐成为前沿研究的热点。HDFS、BGL、Liberty和Thunderbird等数据集的最新研究方向主要集中在利用LLM进行日志序列的异常检测。这些研究不仅提升了检测的准确性和召回率，还通过结合BERT和Meta-Llama等预训练模型，显著提高了模型的泛化能力和处理效率。此外，这些方法在实际应用中展示了强大的适应性和鲁棒性，为大规模系统日志分析提供了新的技术路径。