AIOps大型真实世界基准数据集

本研究介绍了三个大型真实世界数据集，旨在支持AIOps领域的关键任务，包括KPI异常检测、多维数据根因定位及故障发现与诊断。这些数据集由清华大学等机构与工业合作伙伴共同创建，涵盖了多个互联网公司的生产系统数据。通过这些数据集，研究者们能够更有效地开发和评估AIOps技术，同时，这些数据集也支持了年度AIOps算法挑战赛，促进了学术界与工业界的合作与交流。

This study introduces three large-scale real-world datasets developed to support core tasks in the field of AIOps, including KPI anomaly detection, multi-dimensional data root cause localization, and fault discovery and diagnosis. Jointly created by institutions including Tsinghua University and industrial partners, these datasets cover production system data from multiple Internet companies. These datasets enable researchers to develop and evaluate AIOps technologies more efficiently; furthermore, they have supported the annual AIOps Algorithm Challenge, fostering cooperation and exchanges between academia and industry.

搜集汇总

数据集介绍

构建方式

AIOps大型真实世界基准数据集的构建主要基于真实世界的大型互联网公司（例如搜狗、eBay、腾讯和苏宁）的生产系统。数据集涵盖了KPI异常检测、多维数据根因定位和故障发现与诊断等AIOps场景。为了保证数据的真实性和多样性，数据集包括了来自不同公司、不同系统和不同场景的大量数据。同时，为了评估模型的性能，数据集还提供了大量经过工程师手动标注的异常数据。此外，为了促进AIOps算法的研究和发展，还基于这些数据集举办了AIOps算法竞赛。

特点

AIOps大型真实世界基准数据集具有以下特点：1. 真实性和多样性：数据集来自真实世界的大型互联网公司，涵盖了不同公司、不同系统和不同场景的大量数据，能够更好地反映真实世界的情况。2. 大规模：数据集包含了大量经过工程师手动标注的异常数据，能够支持大规模的模型训练和评估。3. 多样性：数据集涵盖了KPI异常检测、多维数据根因定位和故障发现与诊断等AIOps场景，能够支持多样化的AIOps算法研究。4. 竞赛支持：基于这些数据集举办了AIOps算法竞赛，吸引了大量的研究人员和工程师参与，促进了AIOps算法的研究和发展。

使用方法

AIOps大型真实世界基准数据集的使用方法主要包括：1. 模型训练：使用数据集中的正常数据和异常数据对AIOps模型进行训练，提高模型的准确性和鲁棒性。2. 模型评估：使用数据集中的测试数据对AIOps模型进行评估，验证模型的性能和有效性。3. 竞赛参与：参与AIOps算法竞赛，与其他研究人员和工程师交流学习，共同推动AIOps算法的研究和发展。4. 研究分析：使用数据集进行AIOps相关的研究和分析，探索AIOps算法的改进和优化方法。

背景与挑战

背景概述

AIOps（人工智能运维）作为将人工智能技术应用于IT运维领域的新兴研究方向，旨在通过自动化和智能化的手段提升软件服务的管理和维护效率。然而，AIOps的研究和应用面临着诸多挑战，其中之一便是缺乏大规模的真实世界数据集。为了解决这一问题，Zeyan Li等研究者于2022年8月构建了三个大型真实世界基准数据集，分别针对KPI异常检测、多维度数据根因定位以及故障发现与诊断。这些数据集的发布为AIOps研究提供了重要的数据基础，并推动了该领域的快速发展。

当前挑战

尽管AIOps大型真实世界基准数据集的构建为AIOps研究提供了重要支持，但仍面临一些挑战。首先，AIOps领域涉及多种场景，如KPI异常检测、日志异常检测、容量规划、根因定位等，而现有数据集往往只涵盖其中一种或几种场景，难以全面评估AIOps方法的性能。其次，现有数据集的规模有限，难以反映真实世界服务系统的复杂性和多样性。此外，一些数据集是合成的，而非来自真实世界，无法准确反映真实系统的行为。因此，构建更多涵盖不同场景、规模更大、更真实的AIOps数据集是未来的重要研究方向。

常用场景

经典使用场景

AIOps大型真实世界基准数据集主要用于解决IT运维中常见的自动化和高效性问题。该数据集包含了KPI异常检测、多维数据根因定位以及故障发现和诊断等场景，为AIOps研究提供了丰富的实践基础。

实际应用

AIOps大型真实世界基准数据集在实际应用中，可以帮助IT运维人员快速识别系统故障、定位故障根源，并采取措施进行故障修复，从而提高系统可用性和用户体验，降低经济损失。

衍生相关工作

基于AIOps大型真实世界基准数据集，已经衍生出许多相关的经典工作，如KPI异常检测、多维数据根因定位、故障发现和诊断等方面的研究，这些研究为AIOps技术的发展提供了重要的理论和实践支持。