ToN IoT

ToN IoT数据集是由新南威尔士大学堪培拉分校开发的，用于评估基于人工智能的网络安全应用。该数据集包含从IoT服务、Windows和Linux操作系统以及网络流量中收集的联邦数据源。数据集大小为64342条记录，涵盖了广泛的正常和攻击特征及观察结果。创建过程中，数据集通过三层架构（边缘、雾和云）的测试平台收集，使用SDN和NFV技术进行动态管理。该数据集主要应用于入侵检测、威胁情报和狩猎、隐私保护和数字取证等领域，旨在解决网络安全中的关键问题。

The ToN IoT Dataset was developed by the University of New South Wales, Canberra, for evaluating AI-based cybersecurity applications. The dataset contains federated data sources collected from IoT services, Windows and Linux operating systems, and network traffic. It consists of 64,342 records covering a wide range of normal and attack characteristics and observations. During its development, the dataset was collected via a testbed with a three-tier architecture (edge, fog, and cloud) and dynamically managed using SDN and NFV technologies. It is primarily applied in fields such as intrusion detection, threat intelligence and hunting, privacy protection, and digital forensics, aiming to address key issues in cybersecurity.

搜集汇总

数据集介绍

构建方式

ToN IoT数据集的构建方式，涉及了从异构数据源收集的联合数据。这些数据源包括物联网服务的遥测数据集、Windows和Linux操作系统的数据集以及网络流量数据集。数据集的构建环境是一个三层架构的测试床，包括边缘层、雾层和云层。边缘层涉及物联网和网络设备，雾层包含虚拟机和网关，云层包括与边缘层和雾层相连的云服务，如数据分析和可视化。这些层通过软件定义网络（SDN）和网络功能虚拟化（NFV）平台动态管理，如VMware NSX和vCloud NFV。Windows数据集是从内存、处理器、网络、进程和硬盘的审计跟踪中收集的。

特点

ToN IoT数据集的特点在于其包含广泛的正常和攻击特征及观察结果，以及真实的事件真相。数据集在Windows 7和Windows 10操作系统中收集，并包含来自内存、处理器、网络、进程和硬盘的审计跟踪。数据集被设计用于评估各种基于AI的网络安全解决方案，包括入侵检测、威胁情报和狩猎、隐私保护和数字取证。数据集具有真实的地面真相事件，这为评估网络安全解决方案提供了可靠的基准。

使用方法

ToN IoT数据集的使用方法包括从提供的链接中公开获取数据集。研究人员可以使用这些数据集来训练和验证基于AI的网络安全模型，如入侵检测系统。数据集包括CSV格式的训练-测试集，可以用于训练和测试机器学习模型。研究人员可以将这些集分为训练集和测试集，例如使用70%的数据进行训练，30%的数据进行测试，或者使用k折交叉验证模型来测试AI网络安全模型的性能。此外，数据集中的特征可以进行相关性分析，以选择最相关的特征用于训练和验证机器/深度学习算法，以提高对攻击家族的分类效率。

背景与挑战

背景概述

在物联网（IoT）技术迅猛发展的背景下，保障IoT系统的安全变得至关重要。现有的网络安全解决方案多基于知识模型，难以应对新兴的网络安全威胁。随着人工智能（AI），尤其是深度学习（DL）算法的兴起，安全解决方案逐渐与AI模型结合，以发现、追踪、缓解或响应新的安全事件。然而，这些算法需要大量异构数据源来进行训练和验证。ToN IoT数据集正是在这一背景下应运而生，该数据集由来自IoT服务遥测数据集、Windows和Linux操作系统数据集以及网络流量数据集的联邦数据源组成。该数据集的创建旨在为AI驱动的网络安全应用提供一个评估平台，包括入侵检测、威胁情报与狩猎、隐私保护以及数字取证。数据集由来自澳大利亚新南威尔士大学工程与信息技术学院以及网络安全合作研究中心的研究人员合作开发，并于2020年10月发布。ToN IoT数据集的发布对网络安全领域产生了重要影响，为研究者和开发者提供了一个真实且具有挑战性的数据集，以测试和改进他们的AI安全解决方案。

当前挑战

ToN IoT数据集在构建过程中面临了多项挑战。首先，数据集需要解决IoT网络和操作系统中的安全漏洞问题，尤其是在Windows操作系统中的安全问题，如勒索软件和恶意软件攻击。其次，构建过程中需要设计一个能够同时收集来自不同层级（边缘、雾和云）的联邦数据的新型IoT测试平台，以模拟现实世界中的IoT网络。此外，数据集需要包含广泛的正常和恶意场景，以及真实的事件真相，以便有效地评估AI驱动的网络安全应用。最后，数据集的构建还面临数据收集、特征提取和标签处理等方面的技术挑战。尽管如此，ToN IoT数据集的发布为网络安全研究提供了一个宝贵的资源，有助于推动AI在网络安全领域的应用和发展。

常用场景

经典使用场景

ToN IoT数据集为基于人工智能的安全应用提供了宝贵的评估资源。该数据集汇集了来自物联网服务遥测数据、Windows和Linux操作系统数据以及网络流量数据，形成了一个联邦数据源。这些数据集被用于评估各种基于人工智能的网络安全解决方案，包括入侵检测、威胁情报和狩猎、隐私保护以及数字取证。数据集涵盖了广泛的正常和攻击特征，以及真实的基线事件，为研究者提供了全面的评估环境。

衍生相关工作

ToN IoT数据集的发布催生了一系列相关研究。研究人员已经使用这些数据集来开发和评估新的基于人工智能的网络安全解决方案，包括改进的入侵检测系统、威胁情报分析工具和隐私保护机制。此外，数据集还被用于探索和验证新的网络安全概念和方法，如软件定义网络（SDN）和网络功能虚拟化（NFV）在安全领域的应用。这些相关工作进一步推动了网络安全领域的发展，提高了网络系统的安全性。

数据集最近研究

最新研究方向

ToN IoT数据集的提出，为基于人工智能的安全应用评估提供了新的可能性。该数据集融合了来自物联网服务的遥测数据、Windows和Linux操作系统数据以及网络流量数据，形成了一个联邦数据源。在当前网络安全领域，人工智能尤其是深度学习算法的应用正日益成为研究热点。ToN IoT数据集的构建，正是为了应对当前网络安全解决方案的局限性，即基于知识模型的解决方案往往无法触发新的网络安全攻击。该数据集通过引入来自不同层面的数据，如边缘层、雾层和云层，为训练和验证新的安全系统提供了丰富且多样化的数据支持。这些数据将用于评估各种基于人工智能的网络安全解决方案，包括入侵检测、威胁情报和狩猎、隐私保护和数字取证等。ToN IoT数据集的推出，有望推动基于人工智能的网络安全研究向前发展，为构建更加安全、可靠的网络安全防御体系提供有力支撑。

相关研究论文

• Federated TON_IoT Windows Datasets for Evaluating AI-based Security Applications

  新南威尔士大学堪培拉分校 · 2020年