SCVIC-APT-2021

SCVIC-APT-2021数据集是由渥太华大学电气工程与计算机科学学院创建，专注于物联网环境中的高级持续威胁（APT）检测。该数据集涵盖了APT攻击的五个关键阶段：初始妥协、转向、横向移动、侦察和数据渗出。数据集通过实验室环境生成，旨在为机器学习模型提供训练和测试资源，以提高APT检测的准确性。该数据集的应用领域主要集中在网络安全，特别是针对物联网设备的安全防护，旨在通过提供高质量的训练数据来增强入侵检测系统的性能。SCVIC-APT-2021 dataset was developed by the School of Electrical Engineering and Computer Science, University of Ottawa, focusing on Advanced Persistent Threat (APT) detection in Internet of Things (IoT) environments. This dataset covers five key stages of APT attacks: initial compromise, pivot, lateral movement, reconnaissance, and data exfiltration. Generated in a controlled laboratory environment, it aims to provide training and testing resources for machine learning models to improve the accuracy of APT detection. Its application fields mainly concentrate on cybersecurity, particularly the security protection of IoT devices, with the objective of enhancing the performance of intrusion detection systems by providing high-quality training data.

搜集汇总

数据集介绍

构建方式

SCVIC-APT-2021数据集的构建基于物联网(IoT)环境中高级持续性威胁(APT)的模拟。数据集包含了五种APT攻击阶段：初始入侵、横向移动、中继、侦察和数据渗漏，以及正常数据包。数据集在实验室环境中创建，旨在覆盖APT攻击的主要阶段，并模拟真实网络环境中的APT攻击。构建过程中，数据集的预处理步骤包括删除与节点硬件信息相关的特征，以避免模型仅根据特定端口的数据包进行判断，从而提高模型的泛化能力。

特点

SCVIC-APT-2021数据集具有以下特点：1. 数据集包含多种APT攻击阶段，可以用于评估不同攻击阶段的检测模型性能；2. 数据集在实验室环境中创建，模拟真实网络环境，具有较高的现实意义；3. 数据集在预处理过程中删除了与节点硬件信息相关的特征，提高了模型的泛化能力；4. 数据集包含80多个网络特征，为模型提供了丰富的训练数据。

使用方法

SCVIC-APT-2021数据集可用于训练和评估APT检测模型。在使用数据集时，首先需要对数据进行预处理，删除与节点硬件信息相关的特征，以避免模型仅根据特定端口的数据包进行判断。然后，可以使用监督学习方法训练模型，例如决策树、随机森林和XGBoost等。为了提高模型的性能，可以使用特征选择方法简化数据集，并使用无监督学习方法生成先验知识，将其输入到监督模型中，以降低训练复杂度并提高模型的性能。最后，可以使用宏平均F1分数作为评估指标，评估模型的性能。

背景与挑战

背景概述

随着物联网(IoT)设备在网络中的部署数量呈指数级增长，IoT网络在无线媒介中变得更加脆弱。高级持续性威胁(APT)对大多数网络设施构成恶意威胁，与正常流量相比，可用于训练基于机器学习的入侵检测系统(IPS)的攻击数据有限。因此，为了减轻APT的影响，提高检测性能是一个相当具有挑战性的问题。为了解决这一挑战，Shen等人提出了一个名为SCVIC-APT-2021的数据集，并使用先验知识输入(PKI)模型进行测试。该模型利用无监督聚类方法对原始数据集进行预分类，然后将获得的先验知识整合到监督模型中，以降低训练复杂性和辅助监督模型确定原始数据与真实标签之间的最佳映射。实验结果表明，PKI模型优于监督基线模型，最佳宏平均F1分数为81.37%，比基线模型高出10.47%。该数据集的创建时间为2021年，主要研究人员包括Yu Shen、Murat Simsek、Burak Kantarci、Hussein T.Mouftah、Mehran Bagheri和Petar Djukic，所属机构为加拿大渥太华大学电气工程与计算机科学学院和Ciena Corp.的AI和数据分析部门。该数据集对相关领域的影响主要体现在提高基于机器学习的APT检测性能，为IoT网络的安全防护提供了新的思路和方法。

当前挑战

SCVIC-APT-2021数据集相关的挑战主要包括：1) APT攻击数据缺乏，导致传统机器学习策略无法有效地检测APT攻击；2) 由于APT攻击的隐蔽性和适应性，获取合适的APT攻击数据成为一个难题；3) APT攻击的防御策略主要包括监控、缓解和检测方法，但这些方法都存在一定的局限性，如监控方法可能导致较高的误报率，缓解方法无法主动检测攻击等；4) PKI模型的先验知识维度有限，难以与大量原始特征相比拟，因此需要进一步研究提高先验知识维度的方法。

常用场景

经典使用场景

SCVIC-APT-2021数据集是针对物联网(IoT)环境中高级持续性威胁(APT)检测而设计的。该数据集模拟了APT攻击的六个主要阶段，包括初始入侵、横向移动、跳跃、侦察和数据外泄，为研究APT攻击检测提供了现实的数据基础。在经典的使用场景中，研究者可以利用该数据集进行基于机器学习的APT攻击检测模型的训练和评估。例如，通过结合先验知识输入(PKI)模型，研究者可以有效地减少训练复杂度，并提高模型的检测性能，从而为物联网安全防护提供有力支持。

解决学术问题

SCVIC-APT-2021数据集解决了APT攻击检测中的数据不足和检测性能低下的问题。由于APT攻击具有隐蔽性和持续性，传统的机器学习方法难以有效地检测APT攻击。而SCVIC-APT-2021数据集提供了丰富的APT攻击数据，使得研究者可以更好地研究APT攻击的特性和规律。此外，该数据集还引入了PKI和Progressive PKI模型，通过结合先验知识和特征选择，有效地提高了APT攻击检测模型的性能，从而为物联网安全防护提供了有力的支持。

衍生相关工作

SCVIC-APT-2021数据集的发布推动了APT攻击检测领域的研究进展。基于该数据集，研究者提出了多种APT攻击检测模型，如PKI模型和Progressive PKI模型，这些模型在APT攻击检测方面取得了显著的性能提升。此外，SCVIC-APT-2021数据集还为其他领域的研究提供了借鉴，如基于深度学习的APT攻击检测模型、基于特征选择的APT攻击检测模型等。这些研究成果为APT攻击检测领域的发展提供了重要的支持，并为物联网安全防护提供了有力的技术保障。