Kubernetes Event Dataset

该数据集包含在Kubernetes环境中生成的审计日志，用于性能分析和安全策略执行的研究。数据集包括原始审计日志和处理后的日志文件，以及用于生成和处理这些日志的源文件。

This dataset contains audit logs generated in a Kubernetes environment, intended for research on performance analysis and security policy enforcement. The dataset includes raw audit logs, processed log files, as well as the source files used to generate and process these logs.

原始信息汇总

Kubernetes Event Dataset

文件描述

• raw-audit-logs.log: 包含使用 audit-policy.yaml 审计策略收集的原始 Kubernetes 审计日志。
• audit-logs.csv: 包含使用 Logstash 处理的 Kubernetes 审计日志。
• events-dataset.txt: 包含仅包含事件名称的已处理 Kubernetes 日志。

辅助文件

• collect.py: 用于触发公共 Helm 仓库的安装和卸载的脚本。
• logstash.conf: 用于将原始审计日志处理为更可用的 audit-logs.csv 的 Logstash 配置。
• parse.py: 用于将 audit-logs.csv 中的审计日志处理并解析为 event-dataset.txt。
• helm-charts.json: 收集时使用的 Helm 图表的备份。

额外文件

• distribution.ipynb: 用于打印事件数据集分布的 Python Notebook，生成 dataset_distribution.pdf 图表。

引用

如果此数据集对您的研究有帮助，请在您的出版物中引用：

@article{kermabon2024perfspec, author={Kermabon-Bobinnec, Hugo and Bagheri, Sima and GholipourChoubeh, Mahmood and Majumdar, Suryadipta and Jarraya, Yosr and Wang, Lingyu and Pourzandi, Makan}, journal={IEEE Transactions on Dependable and Secure Computing}, title={PerfSPEC: Performance Profiling-based Proactive Security Policy Enforcement for Containers}, year={2024}, volume={}, number={}, pages={1-18}, doi={10.1109/TDSC.2024.3420712}}

搜集汇总

数据集介绍

构建方式

在构建Kubernetes事件数据集时，研究者首先通过`audit-policy.yaml`审计策略收集原始的Kubernetes审计日志，这些日志存储在`raw-audit-logs.log`文件中。随后，利用Logstash工具对这些原始日志进行处理，生成结构化的`audit-logs.csv`文件。进一步，通过`parse.py`脚本对处理后的日志进行解析，提取出仅包含事件名称的日志，并存储在`events-dataset.txt`文件中。此外，`collect.py`脚本用于触发公共Helm仓库的安装和卸载，以生成更多的审计数据。

使用方法

使用Kubernetes事件数据集时，研究者可以直接访问`events-dataset.txt`文件，获取经过处理的事件名称数据，进行进一步的分析和研究。若需进行更深入的审计日志分析，可以利用`audit-logs.csv`文件，该文件包含了结构化的审计日志信息。此外，`distribution.ipynb`笔记本文件提供了数据集事件分布的可视化工具，帮助用户快速了解数据集的分布特征。

背景与挑战

背景概述

Kubernetes Event Dataset是由Hugo Kermabon-Bobinnec等人于2024年创建的，旨在支持容器化环境中的性能分析与主动安全策略执行。该数据集的核心研究问题围绕如何通过性能分析来优化容器的安全策略，从而提升系统的可靠性与安全性。通过收集和处理Kubernetes的审计日志，研究人员能够深入分析容器事件的分布与行为模式，为相关领域的研究提供了宝贵的数据资源。这一数据集的发布，不仅推动了容器安全与性能优化领域的研究进展，也为后续的相关研究奠定了坚实的基础。

当前挑战

Kubernetes Event Dataset在构建过程中面临了多个挑战。首先，收集和处理Kubernetes的审计日志需要高度的技术专业性，确保数据的完整性和准确性。其次，数据集的生成依赖于复杂的Logstash配置和自定义脚本，这增加了数据处理的复杂性。此外，如何从海量的审计日志中提取有意义的事件信息，并确保这些信息的代表性和全面性，也是一项重要的挑战。最后，数据集的分布分析需要精确的统计方法，以确保结果的可靠性和科学性。这些挑战共同构成了该数据集在实际应用中的主要难点。

常用场景

经典使用场景

Kubernetes Event Dataset 在容器编排和云原生应用管理领域具有广泛的应用。该数据集通过收集和处理 Kubernetes 审计日志，提供了详尽的事件记录，使得研究者和开发者能够深入分析容器集群的运行状态和行为模式。经典的使用场景包括：通过分析事件数据，识别和预测潜在的安全威胁，优化资源分配策略，以及提升系统的整体性能和稳定性。

解决学术问题

Kubernetes Event Dataset 为学术界提供了一个宝贵的资源，解决了多个关键的研究问题。首先，它为容器安全研究提供了实时的、详尽的事件数据，有助于开发更有效的安全策略和防御机制。其次，通过对事件数据的深入分析，研究者可以探索容器集群的性能瓶颈，提出优化方案，从而提升系统的整体效率。此外，该数据集还支持对容器编排算法的评估和改进，推动了云原生技术的学术研究。

实际应用

在实际应用中，Kubernetes Event Dataset 被广泛用于企业级容器管理平台的安全监控和性能优化。通过实时分析事件数据，企业能够及时发现并应对潜在的安全威胁，确保容器环境的安全性。同时，该数据集还支持资源调度和负载均衡策略的优化，帮助企业提高资源利用率，降低运营成本。此外，事件数据的分析结果还可用于自动化运维和故障排查，提升系统的可靠性和稳定性。

数据集最近研究

最新研究方向

在容器编排领域，Kubernetes Event Dataset的最新研究方向主要集中在性能分析与主动安全策略的实施上。该数据集通过收集和处理Kubernetes的审计日志，为研究者提供了一个详尽的事件数据源，从而支持对容器性能的深入分析和安全策略的优化。这一研究方向不仅有助于提升容器环境的稳定性和安全性，还为未来的自动化安全管理提供了理论基础和实践指导。