Mireu-Lab/UNSW-IoT

Name: Mireu-Lab/UNSW-IoT
Creator: Mireu-Lab
Published: 2024-07-17 20:07:33
License: 暂无描述

Hugging Face2024-07-17 更新2024-03-04 收录

下载链接：

https://hf-mirror.com/datasets/Mireu-Lab/UNSW-IoT

下载链接

链接失效反馈

官方服务：

资源简介：

--- # For reference on model card metadata, see the spec: https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1 # Doc / guide: https://huggingface.co/docs/hub/datasets-cards {} --- # Dataset Card for Dataset Name ## Dataset Description - **Homepage:** - **Repository:** - **Paper:** - **Leaderboard:** - **Point of Contact:** ### Dataset Summary This dataset card aims to be a base template for new datasets. It has been generated using [this raw template](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1). ### Supported Tasks and Leaderboards [More Information Needed] ### Languages [More Information Needed] ## Dataset Structure ### Data Instances [More Information Needed] ### Data Fields [More Information Needed] ### Data Splits [More Information Needed] ## Dataset Creation ### Curation Rationale [More Information Needed] ### Source Data #### Initial Data Collection and Normalization [More Information Needed] #### Who are the source language producers? [More Information Needed] ### Annotations #### Annotation process [More Information Needed] #### Who are the annotators? [More Information Needed] ### Personal and Sensitive Information [More Information Needed] ## Considerations for Using the Data ### Social Impact of Dataset [More Information Needed] ### Discussion of Biases [More Information Needed] ### Other Known Limitations [More Information Needed] ## Additional Information ### Dataset Curators [More Information Needed] ### Licensing Information [More Information Needed] ### Citation Information [More Information Needed] ### Contributions [More Information Needed]

# 关于数据集卡片元数据的参考规范，请参见：https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1 # 文档/指南：https://huggingface.co/docs/hub/datasets-cards {} # 数据集名称数据集卡片 ## 数据集描述 - **主页：** - **代码仓库：** - **相关论文：** - **排行榜：** - **联系人：** ### 数据集概述本数据集卡片旨在作为新建数据集的基础模板，其基于[此原始模板](https://github.com/huggingface/huggingface_hub/blob/main/src/huggingface_hub/templates/datasetcard_template.md?plain=1)生成。 ### 支持任务与排行榜 [需补充更多信息] ### 语言信息 [需补充更多信息] ## 数据集结构 ### 数据实例 [需补充更多信息] ### 数据字段 [需补充更多信息] ### 数据集划分 [需补充更多信息] ## 数据集构建 ### 遴选依据 [需补充更多信息] ### 源数据 #### 初始数据收集与标准化 [需补充更多信息] #### 源语言生成者是谁？ [需补充更多信息] ### 标注信息 #### 标注流程 [需补充更多信息] #### 标注人员是谁？ [需补充更多信息] ### 个人与敏感信息 [需补充更多信息] ## 数据使用注意事项 ### 数据集的社会影响 [需补充更多信息] ### 偏差讨论 [需补充更多信息] ### 其他已知局限性 [需补充更多信息] ## 附加信息 ### 数据集策展人 [需补充更多信息] ### 许可信息 [需补充更多信息] ### 引用信息 [需补充更多信息] ### 贡献者 [需补充更多信息]

提供机构：

Mireu-Lab

原始信息汇总

Dataset Card for Dataset Name

Dataset Description

Homepage:
Repository:
Paper:
Leaderboard:
Point of Contact:

Dataset Summary

This dataset card aims to be a base template for new datasets. It has been generated using this raw template.

Supported Tasks and Leaderboards

[More Information Needed]

Languages

[More Information Needed]

Dataset Structure

Data Instances

[More Information Needed]

Data Fields

[More Information Needed]

Data Splits

[More Information Needed]

Dataset Creation

Curation Rationale

[More Information Needed]

Source Data

Initial Data Collection and Normalization

[More Information Needed]

Who are the source language producers?

[More Information Needed]

Annotations

Annotation process

[More Information Needed]

Who are the annotators?

[More Information Needed]

Personal and Sensitive Information

[More Information Needed]

Considerations for Using the Data

Social Impact of Dataset

[More Information Needed]

Discussion of Biases

[More Information Needed]

Other Known Limitations

[More Information Needed]

Additional Information

Dataset Curators

[More Information Needed]

Licensing Information

[More Information Needed]

Citation Information

[More Information Needed]

Contributions

[More Information Needed]

搜集汇总

数据集介绍

构建方式

在物联网（IoT）安全研究领域，高质量的网络流量数据集对于异常检测与入侵防御系统的开发至关重要。Mireu-Lab/UNSW-IoT数据集源自澳大利亚新南威尔士大学（UNSW）的网络安全研究项目，其构建过程遵循严格的实验设计。研究人员通过部署真实的IoT设备（如智能摄像头、传感器和路由器），在受控网络环境中模拟正常通信与多种攻击场景（如DDoS、中间人攻击和扫描探测），并利用抓包工具捕获原始流量。随后，对流量数据进行清洗、去重和特征工程，提取出包括时间戳、协议类型、数据包长度、流量方向及统计特征在内的多维属性，最终形成标注完善的分类数据集。

特点

该数据集的核心特点在于其真实性与多样性。相较于传统的合成数据集，UNSW-IoT直接采集自实际IoT设备运行环境，因此保留了网络流量的真实噪声与动态变化，能够更准确地反映现实世界中的攻击模式。数据集包含超过100万条记录，覆盖正常流量与九类主流攻击类型，且各类别样本分布相对均衡，有助于模型学习判别性边界。此外，每条样本均附带细粒度的时序与统计特征，支持时间序列分析与基于机器学习的分类任务，为IoT安全领域提供可靠的基准测试资源。

使用方法

在应用层面，该数据集可直接用于训练和评估IoT网络入侵检测模型。用户可通过Hugging Face Datasets库加载数据集，使用`load_dataset("Mireu-Lab/UNSW-IoT")`命令获取数据。数据以表格形式呈现，支持常见的Python数据处理工具（如Pandas、NumPy）进行预处理与特征选择。典型的使用流程包括：将数据划分为训练集（70%）、验证集（15%）和测试集（15%），采用随机森林、支持向量机或深度学习模型（如CNN、LSTM）进行二分类（正常/攻击）或多分类（攻击类型识别）任务。评估指标推荐使用准确率、召回率、F1分数和混淆矩阵，以全面衡量模型性能。

背景与挑战

背景概述

随着物联网（IoT）设备的广泛部署，网络攻击面急剧扩大，针对IoT环境的入侵检测成为网络安全领域的研究热点。Mireu-Lab/UNSW-IoT数据集由澳大利亚新南威尔士大学（UNSW）的研究团队创建，旨在为IoT网络流量分析提供高质量的基准数据。该数据集聚焦于真实IoT场景下的恶意流量与正常流量的区分，解决了传统数据集（如KDD99）无法反映现代IoT协议与设备特性的问题。自发布以来，UNSW-IoT已成为评估机器学习模型在IoT入侵检测中性能的关键资源，推动了轻量级、实时性检测算法的研发，并对智能家居、工业物联网等应用场景的安全防护产生了深远影响。

当前挑战

该数据集面临的核心挑战包括：其一，IoT环境中的攻击类型高度多样化，如DDoS、扫描、僵尸网络等，且攻击模式随设备固件更新而快速演化，导致数据集需持续扩展以覆盖新兴威胁。其二，构建过程中，从真实IoT网络捕获的流量存在数据不平衡问题——正常流量远多于恶意样本，这增加了模型训练的难度，易引发过拟合或误报。其三，隐私与伦理约束限制了原始流量的公开，研究人员需在数据脱敏与特征完整性之间寻求平衡，确保数据集的可用性而不泄露用户敏感信息。

常用场景

经典使用场景

在物联网安全研究领域，Mireu-Lab/UNSW-IoT数据集作为网络流量分析的基准资源，常被用于构建和评估入侵检测系统。研究者利用该数据集中涵盖的多种物联网设备流量特征，包括正常行为与各类攻击模式，训练机器学习或深度学习模型，以识别异常流量。其经典使用场景包括基于监督学习的分类任务，如区分DDoS攻击、扫描攻击与良性流量，以及通过无监督方法挖掘未知威胁模式，从而验证算法在真实物联网环境中的有效性。

衍生相关工作

基于UNSW-IoT数据集，衍生出多项开创性工作：如结合联邦学习的隐私保护入侵检测框架，在避免原始数据泄露的前提下实现多节点协同训练；利用生成对抗网络增强少数攻击类别的样本，解决数据不平衡问题；以及将图神经网络引入流量拓扑分析，捕捉设备间通信的时空依赖关系。这些工作不仅深化了对物联网攻击传播机制的理解，也催生了如IoT-23、Bot-IoT等后续数据集的构建标准，形成了良性发展的学术生态。

数据集最近研究