NF-UNSW-NB15, NF-BoT-IoT, NF-ToN-IoT, NFCSE-CIC-IDS2018, NF-UQ-NIDS

本研究介绍了五个基于NetFlow的网络入侵检测系统数据集，分别是NF-UNSW-NB15、NF-BoT-IoT、NF-ToN-IoT、NFCSE-CIC-IDS2018和NF-UQ-NIDS。这些数据集由昆士兰大学创建，旨在通过NetFlow特征评估机器学习模型的检测准确性和泛化能力。数据集内容包括从公开可用的数据包捕获文件中提取的NetFlow特征，并针对二元和多类别学习挑战进行了标注。这些数据集的应用领域主要集中在网络入侵检测，旨在解决网络攻击的检测问题，尤其是在高流量网络中，NetFlow特征的提取和存储更为可行。

This study introduces five NetFlow-based network intrusion detection system datasets, namely NF-UNSW-NB15, NF-BoT-IoT, NF-ToN-IoT, NFCSE-CIC-IDS2018, and NF-UQ-NIDS. These datasets were developed by The University of Queensland, with the aim of evaluating the detection accuracy and generalization performance of machine learning models using NetFlow features. The datasets consist of NetFlow features extracted from publicly available packet capture files, and are labeled for both binary and multi-class learning tasks. The primary application of these datasets lies in network intrusion detection, targeting the detection of network attacks, especially in high-traffic networks where the extraction and storage of NetFlow features are more feasible.

搜集汇总

数据集介绍

构建方式

NF-UNSW-NB15、NF-BoT-IoT、NF-ToN-IoT、NFCSE-CIC-IDS2018和NF-UQ-NIDS数据集的构建基于现有的四个网络入侵检测系统（NIDS）数据集，即UNSW-NB15、BoT-IoT、ToN-IoT和CSE-CIC-IDS2018。研究者使用这些数据集的公开可用的数据包捕获文件（pcap文件），通过nProbe工具将其转换为NetFlow版本9格式。NetFlow是一种广泛部署的网络流量收集协议，它从数据包头部提取网络流量的摘要信息。nProbe工具从原始数据集中提取了12个NetFlow特征，并创建了文本文件，其中包含每个数据流的路径。这些数据流被标记为攻击或良性流量，并与原始数据集中的真实攻击事件进行匹配。通过这种方式，研究者构建了新的NetFlow数据集，用于解决二进制和多类学习挑战。

特点

NF-UNSW-NB15、NF-BoT-IoT、NF-ToN-IoT、NFCSE-CIC-IDS2018和NF-UQ-NIDS数据集的主要特点是它们基于NetFlow特征，这些特征相对容易从网络流量中提取，并且通常比原始数据集中使用的复杂特征更易于收集和存储。此外，这些数据集被标记为解决二进制和多类学习挑战，使得研究人员可以使用相同的一组特征来评估他们的机器学习模型在多个数据集上的检测准确性和泛化能力。最后，这些数据集包含了从多个网络环境和攻击场景中收集的流量，使得它们能够代表现实世界中的网络行为。

使用方法

NF-UNSW-NB15、NF-BoT-IoT、NF-ToN-IoT、NFCSE-CIC-IDS2018和NF-UQ-NIDS数据集的使用方法包括：1.数据预处理：使用nProbe工具将原始pcap文件转换为NetFlow格式，并提取12个NetFlow特征。2.数据标记：将数据流标记为攻击或良性流量，并与原始数据集中的真实攻击事件进行匹配。3.模型训练：使用NetFlow特征训练机器学习模型，例如决策树、随机森林或神经网络。4.模型评估：使用交叉验证和平均性能指标（如准确率、AUC、F1分数、检测率和误报率）评估模型在多个数据集上的性能。5.结果分析：分析模型的性能，并确定哪些特征对于检测特定攻击类型最为重要。通过这些方法，研究人员可以使用NF-UNSW-NB15、NF-BoT-IoT、NF-ToN-IoT、NFCSE-CIC-IDS2018和NF-UQ-NIDS数据集来评估和改进他们的机器学习模型，以提高网络入侵检测系统的性能。

背景与挑战

背景概述

网络入侵检测系统（NIDS）在网络安全中扮演着至关重要的角色。为了提高NIDS的性能，研究人员不断探索新的特征集和机器学习模型。然而，由于各个数据集的特征集差异较大，导致研究人员难以在同一套特征集上评估其模型在不同数据集上的泛化能力。为了解决这一问题，研究人员提出了基于NetFlow的数据集，这些数据集从四个基准NIDS数据集中提取了NetFlow特征，分别为UNSW-NB15、BoT-IoT、ToN-IoT和CSE-CIC-IDS2018。这些数据集的创建旨在为研究人员提供一个共同的基准，以便在相同的特征集上评估其机器学习模型的检测准确性和泛化能力。

当前挑战

尽管NetFlow数据集为NIDS的研究提供了便利，但仍存在一些挑战。首先，NetFlow特征相较于原始数据集的特征集，可能在多分类任务中表现不如原始特征集。其次，NetFlow数据集在构建过程中可能存在特征丢失的问题，导致一些攻击类型的检测效果不佳。最后，如何有效地整合原始数据集中的关键特征，以提高NetFlow数据集的性能，仍然是研究人员需要解决的重要问题。

常用场景

经典使用场景

NF-UNSW-NB15, NF-BoT-IoT, NF-ToN-IoT, NFCSE-CIC-IDS2018, NF-UQ-NIDS 数据集是网络入侵检测系统（NIDS）的基准数据集，旨在通过机器学习（ML）方法来识别网络攻击。这些数据集基于网络流量数据，包括正常的网络行为和合成的攻击场景。在现实世界的场景中，从网络流量中提取NetFlow特征比使用原始数据集的复杂特征更为简单，因为它们通常是从数据包头部提取的。这些NetFlow数据集已被标记，用于解决基于二元和多元的学习挑战。初步结果表明，与各自的原始特征数据集相比，NetFlow特征在四个数据集中导致相似的二元类结果和较低的多类分类结果。

实际应用

NetFlow数据集在实际应用中具有广泛的应用前景。它们可以帮助组织更好地理解和识别网络攻击模式，从而提高网络安全防御能力。此外，NetFlow数据集还可以用于开发更精确的网络入侵检测模型，这些模型可以在各种网络环境和攻击类型下有效地检测和阻止攻击。

衍生相关工作

NF-UNSW-NB15, NF-BoT-IoT, NF-ToN-IoT, NFCSE-CIC-IDS2018, NF-UQ-NIDS数据集的发布为网络入侵检测领域的研究提供了新的契机。研究人员可以利用这些数据集来开发新的ML模型和算法，以提高网络入侵检测的准确性和效率。此外，这些数据集还可以用于评估现有ML模型和算法的性能，从而促进网络入侵检测领域的发展。