BETH Dataset: Real Cybersecurity Data for Anomaly Detection Research

We present the BETH cybersecurity dataset for unsupervised anomaly detection and out-of-distribution analysis. With real “anomalies” collected using a novel tracking system, our dataset contains over eight million data points tracking 23 hosts. Each host has captured benign activity and, at most, a single attack, enabling cleaner behavioural analysis. In addition to being one of the most modern and extensive cybersecurity datasets available, BETH enables the development of anomaly detection algorithms on heterogeneously-structured real-world data, with clear downstream applications. We give details on the data collection, suggestions on pre-processing, and analysis with initial anomaly detection benchmarks on a subset of the data.

我们提出适用于无监督异常检测（unsupervised anomaly detection）与分布外分析（out-of-distribution analysis）的BETH网络安全数据集。借助新型跟踪系统采集的真实“异常”数据，该数据集包含超过800万个数据点，对23台主机进行跟踪记录。每台主机均记录了良性活动，且最多包含一次攻击事件，从而支持更清晰的行为分析。作为当前可用的最现代、最全面的网络安全数据集之一，BETH还支持在异构结构化的真实世界数据上开发异常检测算法，并具有明确的下游应用场景。我们详细介绍了数据采集过程，提供了预处理建议，并基于数据集子集进行了初步异常检测基准测试与分析。

搜集汇总

背景与挑战

背景概述

BETH Dataset是一个专注于网络安全异常检测的真实数据集，包含800多万个数据点和23台主机的活动记录，每台主机最多记录一次攻击行为。该数据集以CSV和ZIP格式提供，分为训练、测试和验证集，支持异构结构数据的算法开发，具有现代性和广泛性特点。