UNSW-NB15

UNSW-NB15数据集是一个用于评估网络入侵检测系统（NIDS）的广泛使用的数据库。它由澳大利亚网络安全中心（ACCS）创建，旨在通过提供对现代网络流量和攻击行为的更现实和多样化的表示，解决旧数据集（如KDDCup99和NSL-KDD）的局限性。

UNSW-NB15 dataset is a widely used database for evaluating network intrusion detection systems (NIDS). It was created by the Australian Centre for Cyber Security (ACCS), aiming to address the limitations of older datasets such as KDDCup99 and NSL-KDD by providing a more realistic and diverse representation of modern network traffic and attack behaviors.

原始信息汇总

Cyber-Threat-Detection 数据集概述

数据集简介

该数据集用于构建基于机器学习的网络威胁检测系统，使用UNSW-NB15数据集进行训练。该系统能够将网络流量分类为正常或九种攻击类型之一，如DoS、Fuzzers和Exploits等。

数据集详情

• **数据集名称：**UNSW-NB15
• **创建机构：**澳大利亚网络安全中心（ACCS）
• **目的：**评估网络入侵检测系统（NIDS）
• **特点：**提供现代网络流量和攻击行为的更现实和多样化的表示

数据集组成

• **总记录数：**2,540,044
• **攻击类型：**9种不同类型的攻击
• **特征：**49个特征，分为基本特征、内容特征、时间特征和连接特征等

攻击类型

• DoS (Denial of Service)
• Fuzzers
• Generic
• Analysis
• Backdoors
• Exploits
• Reconnaissance
• Shellcode
• Worms

特征列表

• **基本连接信息：**源IP地址、源端口、目的IP地址等
• **包级特征：**源时间戳、目的时间戳、源包丢失等
• **字节级特征：**源字节、目的字节、源包平均大小等
• **流量级特征：**连接速率、源负载、HTTP事务深度等
• **时间特征：**源抖动、目的抖动、TCP往返时间等
• **计数特征：**源连接数、目的连接数、服务数等
• **分类和布尔特征：**同源/目的端口、FTP登录尝试等
• **目标变量：**攻击类别、攻击或正常标签

特征工程

• **数值特征处理：**极端值处理、对数转换
• **分类特征处理：**限制唯一值、独热编码
• **特征选择：**卡方测试
• **特征缩放：**标准化
• **类别不平衡处理：**SMOTE算法

模型性能

• **模型比较：**逻辑回归、kNN、决策树、随机森林等
• **XGBoost模型：**针对单个攻击类型的性能
• **随机森林模型：**针对单个攻击类型的性能

完整数据集概述

搜集汇总

数据集介绍

构建方式

UNSW-NB15数据集由澳大利亚网络安全中心（ACCS）构建，旨在解决旧数据集如KDDCup99和NSL-KDD的局限性，通过提供更现代化、多样化的网络流量和攻击行为表现，以评估网络入侵检测系统（NIDS）。该数据集包含2,540,044条记录，涵盖9种不同的攻击类型，包含49个特征，分为基本特征、内容特征、时间特征和连接特征等类别。

特点

UNSW-NB15数据集的特点在于其现代性、多样性和实用性。它不仅提供了基本的连接信息，还包含了包级别、字节级别、流级别和计时特征，以及基于计数和分类的特征。数据集经过精心设计，以反映真实的网络流量，并且通过特征工程提高了数据质量，平衡了类别分布，适用于机器学习模型的训练。

使用方法

使用UNSW-NB15数据集时，研究者可以依据数据集中的特征进行机器学习模型的训练和评估。数据集的构建允许模型对正常流量和九种类型的攻击进行区分。用户需进行适当的特征预处理，包括数值特征的缩放、类别特征的编码以及类别不平衡的处理，以优化模型性能。

背景与挑战

背景概述

UNSW-NB15数据集是由澳大利亚网络安全中心（ACCS）创建的一个用于评估网络入侵检测系统（NIDS）的广泛使用的数据集。该数据集旨在解决早期数据集如KDDCup99和NSL-KDD的局限性，通过提供更现代化、多样化的网络流量和攻击行为表征，以满足当前网络威胁检测的需求。自推出以来，UNSW-NB15数据集因其与现实世界网络流量的高度相似性而受到研究界的青睐，对网络安全领域的研究和入侵检测技术的发展产生了重要影响。

当前挑战

尽管UNSW-NB15数据集为网络威胁检测研究提供了丰富的资源，但在实际应用中仍面临诸多挑战。首先，数据集包含了大量的特征，如何有效进行特征选择和特征工程以提升模型性能是一个挑战。其次，数据集中不同类型的攻击样本分布不均，处理类别不平衡问题以确保模型公平性是另一个关键挑战。此外，随着网络威胁的不断发展，如何确保数据集的时效性和持续更新也是当前研究需要解决的问题。

常用场景

经典使用场景

UNSW-NB15数据集广泛应用于网络入侵检测系统（NIDS）的性能评估，其经典使用场景在于构建机器学习模型以识别和分类网络流量为正常或九种不同的攻击类型，如拒绝服务（DoS）、模糊攻击（Fuzzers）和利用攻击（Exploits）。通过该数据集，研究者能够训练模型以有效区分各类网络行为，从而提升检测精度和攻击类型的识别效率。

解决学术问题

该数据集解决了传统数据集如KDDCup99和NSL-KDD所存在的局限性，提供了更加现代化和多样化的网络流量及攻击行为的表征。其丰富的特征集使得学术研究者能够深入探索网络入侵行为的特征，有效提升入侵检测模型的准确性和鲁棒性，为网络安全领域提供了有力的研究工具和实验基础。

衍生相关工作

基于UNSW-NB15数据集的研究衍生出了多种先进的网络入侵检测模型和方法，如利用深度学习、集成学习和迁移学习等技术来提高攻击检测的准确性和效率。这些相关工作不仅推动了网络入侵检测领域的技术进步，也为网络安全防护提供了更多的理论支持和实践指导。