DejaVu-Omni

公共数据集A, B, C, D，包含FDGs, metrics和failures（包括ground truths）。

公共数据集A、B、C、D，囊括了FDGs（荧光素酶报告基因）、metrics（指标）以及failures（包括ground truths，即真实情况）。

原始信息汇总

数据集概述

数据集信息

• 数据集名称: DejaVu-Omni
• 数据集包含: 五个公开数据集（A, B, C, D, E）
• 数据集链接: Dropbox链接

数据集内容

• 文件类型:
  • graph.yml 或 graphs/*.yml: 故障检测图（FDGs）
  • metrics.csv 和 metrics.pkl: 度量数据
  • metrics.norm.csv 和 metrics.norm.pkl: 归一化度量数据
  • faults.csv: 故障数据（包括真实情况）
  • FDG.pkl: FDG对象的pickle文件，包含所有上述数据
  • 在数据集E中，system_change.json: 包含系统变更列表，包括变更的开始和结束时间

数据集使用

• 故障定位: 使用数据集A, B, C, D
• 非重复性故障检测: 使用数据集A, B, C, D
• 系统变更后的概念漂移适应: 使用数据集E

数据集注意事项

• 兼容性问题: Pickle文件可能因Python和Pandas版本不同而不兼容，如有问题可忽略或删除这些文件，它们仅用于加快数据加载速度。

搜集汇总

数据集介绍

构建方式

DejaVu-Omni数据集的构建基于多个公开数据集（A、B、C、D、E），这些数据集包含了故障图（FDG）、指标数据（metrics）、标准化指标数据以及故障记录（faults）。数据集通过详细的故障图和指标数据，结合系统变更记录，形成了一个全面的故障诊断与检测框架。特别地，数据集E还包含了系统变更的时间戳信息，用于概念漂移适应性研究。

使用方法

使用DejaVu-Omni数据集时，用户可以通过Docker镜像快速部署环境，并利用提供的脚本进行故障定位、非重复故障检测和概念漂移适应性实验。具体操作包括下载数据集、启动Docker容器、运行实验脚本，并通过输出的一行摘要获取实验结果。此外，用户还可以通过Jupyter Notebook进行全局和局部的解释性分析，以深入理解模型的工作原理。

背景与挑战

背景概述

DejaVu-Omni数据集由NetManAIOps团队开发，专注于系统故障定位与非重复性故障检测。该数据集的创建旨在解决复杂系统中故障诊断的难题，特别是在系统动态变化和概念漂移的背景下。通过提供多个数据集（A、B、C、D、E），DejaVu-Omni支持多种算法在不同场景下的实验，从而推动了故障诊断技术的发展。该数据集的发布不仅为研究人员提供了丰富的实验资源，还为工业界提供了实用的故障检测工具，具有广泛的应用前景。

当前挑战

DejaVu-Omni数据集面临的挑战主要集中在故障定位的准确性和非重复性故障检测的效率上。首先，故障定位的挑战在于如何从历史故障中提取有效特征，以准确识别当前故障的根源。其次，非重复性故障检测的挑战在于如何区分系统中的临时故障与长期故障，并确保检测结果的精确性和召回率。此外，数据集的构建过程中还面临数据标准化、特征提取和模型泛化能力等技术难题，这些都需要在实际应用中不断优化和改进。

常用场景

经典使用场景

DejaVu-Omni数据集在故障定位、非重复性故障检测以及系统变更后的概念漂移适应等场景中展现了其经典应用。通过使用该数据集，研究者和工程师能够有效地识别和定位系统中的故障，尤其是在复杂的多节点系统中，如铁路票务系统。此外，该数据集还支持非重复性故障的检测，这对于提高系统的稳定性和可靠性至关重要。

解决学术问题

DejaVu-Omni数据集解决了在复杂系统中故障定位和非重复性故障检测的学术难题。通过提供详细的故障数据和系统变更信息，该数据集帮助研究者开发和验证新的故障定位算法和概念漂移适应策略。这不仅推动了故障诊断技术的发展，还为系统稳定性研究提供了宝贵的实验数据。

实际应用

在实际应用中，DejaVu-Omni数据集被广泛用于铁路票务系统的故障诊断和维护。通过分析系统中的故障模式和性能指标，工程师能够快速定位和修复问题，从而减少系统停机时间，提高服务质量。此外，该数据集还被用于训练和验证自动化故障检测系统，进一步提升了系统的自动化水平和响应速度。

数据集最近研究

最新研究方向

DejaVu-Omni数据集在故障定位、非重复性故障检测及系统变更后的概念漂移适应等领域展现出前沿研究潜力。该数据集通过提供多维度的故障数据和系统变更信息，支持复杂系统中的故障诊断与预测，尤其是在大规模分布式系统中的应用。研究者们正探索如何利用该数据集优化故障定位算法，提升非重复性故障检测的准确性，并通过概念漂移适应技术增强系统的自适应能力。这些研究不仅推动了故障诊断技术的进步，也为智能运维（AIOps）领域提供了新的实践范式，具有重要的理论与应用价值。