c01dsnap/CIC-IDS2018

LICENSE

You may redistribute, republish, and mirror the CSE-CIC-IDS2018 dataset in any form. However, any use or redistribution of the data must include a citation to the CSE-CIC-IDS2018 dataset and a link to this page in AWS.

Research paper outlining the details of analyzing the similar IDS/IPS dataset and related principles:
* Iman Sharafaldin, Arash Habibi Lashkari, and Ali A. Ghorbani, “Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization”, 4th International Conference on Information Systems Security and Privacy (ICISSP), Portugal, January 2018

LICENSE 许可协议

您可以以任何形式对CSE-CIC-IDS2018数据集进行再分发、重新发布及镜像存储。但任何对该数据集的使用或再分发行为，均需附带对CSE-CIC-IDS2018数据集的引用标注，以及指向AWS平台本页面的链接。

以下为阐述同类入侵检测系统/入侵防御系统（IDS/IPS）数据集分析细节及相关原理的研究论文：
* 伊曼·沙拉法尔丁、阿拉什·哈比比·拉什卡里与阿里·A·戈尔巴尼：《面向新型入侵检测数据集构建与入侵流量特征表征》，发表于第4届信息系统安全与隐私国际会议（ICISSP），葡萄牙，2018年1月。

原始信息汇总

CSE-CIC-IDS2018 数据集

许可证

• 数据集可以以任何形式重新分发、 republish 和镜像。
• 任何使用或重新分发数据的行为必须包含对 CSE-CIC-IDS2018 数据集的引用，并链接到 AWS 上的此页面。

相关研究论文

• Iman Sharafaldin, Arash Habibi Lashkari, 和 Ali A. Ghorbani, “Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization”, 4th International Conference on Information Systems Security and Privacy (ICISSP), Portugal, January 2018

搜集汇总

数据集介绍

构建方式

CIC-IDS2018数据集由加拿大网络安全研究所（CIC）与加拿大国防研究与发展中心（DRDC）合作构建，旨在为入侵检测系统（IDS）和入侵防御系统（IPS）提供真实且全面的评估基准。该数据集通过精心设计的网络拓扑模拟实际企业环境，涵盖正常流量与多种攻击场景，包括暴力破解、DoS/DDoS、Web攻击、渗透等。数据收集过程中使用了CICFlowMeter工具提取流量特征，最终生成包含80余个网络流属性的结构化数据集，确保其具备高保真度和可复现性。

使用方法

在使用该数据集时，研究者可直接从HuggingFace平台通过`datasets`库加载，例如`load_dataset('c01dsnap/CIC-IDS2018')`。数据以Parquet格式存储，支持高效读取与分片处理。建议将数据按时间顺序划分为训练集与测试集，避免未来信息泄露。针对分类任务，可选用随机森林、XGBoost或深度学习模型，并利用特征选择技术（如互信息或主成分分析）降低维度。需注意，数据集中存在类别不平衡问题，建议应用过采样（如SMOTE）或代价敏感学习策略以优化检测性能。

背景与挑战

背景概述

入侵检测系统（IDS）作为网络安全防御体系的核心组件，其性能高度依赖于高质量、真实且多样化的训练数据集。在此背景下，加拿大网络安全研究所（CIC）与加拿大新不伦瑞克大学（UNB）的研究团队，包括Iman Sharafaldin、Arash Habibi Lashkari和Ali A. Ghorbani等学者，于2018年共同创建了CIC-IDS2018数据集。该数据集旨在解决传统入侵检测数据集（如KDD99）存在的流量陈旧、缺乏现代攻击模式及特征单一等局限性，通过模拟真实企业网络环境，系统性地采集了包含良性流量与多种最新网络攻击（如DDoS、Web攻击、暴力破解等）的完整网络流数据。CIC-IDS2018的发布为入侵检测研究提供了标准化、可复现的评测基准，显著推动了基于机器学习的网络异常检测算法的发展，成为网络安全领域引用率最高的基准数据集之一。

当前挑战

CIC-IDS2018数据集所面临的核心挑战首先体现在领域问题上：网络攻击手段的快速演化，使得数据集需不断更新以涵盖新兴威胁（如零日漏洞利用、加密隧道攻击），而静态的数据集难以持续反映真实攻防态势。其次，数据构建过程中存在显著困难，包括在受控环境中模拟大规模分布式攻击时，需平衡流量真实性与攻击多样性，同时避免引入噪声或标签错误。此外，数据集的高维特征（超过80个流统计特征）导致模型训练面临维度灾难与过拟合风险，而类别不平衡问题（良性流量远多于攻击样本）则进一步增加了异常检测的难度。最后，数据集的隐私保护与合规性（如删除个人可识别信息）也是构建中必须解决的技术与伦理挑战。

常用场景

经典使用场景

CIC-IDS2018数据集是网络安全领域内评估入侵检测系统（IDS）与入侵防御系统（IPS）性能的标杆性基准资源。该数据集由加拿大网络安全研究所（CIC）与加拿大国防研究与发展中心（DRDC）合作生成，涵盖了包括暴力破解、DoS/DDoS、Web攻击、僵尸网络等多种现代网络攻击场景，并采集了80余维网络流特征。研究者在分类、聚类及异常检测等机器学习任务中，常将其作为训练与测试的标准平台，用以验证模型对恶意流量的识别能力与泛化性能。

解决学术问题

该数据集旨在弥补早期入侵检测数据集（如KDD Cup 99、NSL-KDD）存在的流量陈旧、特征单一、缺乏真实背景流量等缺陷。它解决了学术界长期面临的“缺少高保真、可复现、带标注的现代网络攻击流量”这一关键瓶颈，为研究者提供了包含真实用户行为与多样化攻击模式的实测数据。基于该数据集的实验，能够更客观地评估检测算法在真实网络环境下的鲁棒性、误报率与检测率，从而推动入侵检测理论从仿真验证向工程实践迈进的范式转变。

实际应用

在实际部署中，CIC-IDS2018被广泛用于构建企业级安全运营中心（SOC）的智能威胁检测模块。安全厂商利用其训练深度学习模型，实现对加密隧道、低频慢速攻击及零日变种的实时预警；工业控制系统与云服务商则基于该数据集优化边缘网关的流量过滤策略。此外，它还被集成于态势感知平台中，辅助安全分析师进行攻击链溯源与威胁狩猎，显著提升了从海量日志中剥离恶意行为的自动化效率。

数据集最近研究

最新研究方向

在网络安全领域，入侵检测系统（IDS）的效能高度依赖于训练数据的真实性与多样性。CIC-IDS2018数据集作为业界公认的基准，其前沿研究方向聚焦于利用深度学习与联邦学习技术构建自适应、抗对抗攻击的入侵检测模型。近期热点事件中，针对云原生环境与物联网（IoT）边缘节点的攻击激增，推动了基于该数据集的多模态流量分析与零日威胁感知研究。该数据集通过模拟11种最新攻击场景（如DDoS、SQL注入）并标注80余维流量特征，为模型泛化能力评估提供了黄金标准，其意义在于弥合实验室环境与真实网络攻防之间的鸿沟，助力构建具备实时响应能力的下一代安全防御体系。