bvsam/cic-ids-2017

--- pretty_name: "CIC-IDS-2017" language: - en tags: - cybersecurity - network - pcap - flow task_categories: - tabular-classification configs: - config_name: machine_learning data_files: "machine_learning/*.parquet" - config_name: traffic_labels data_files: "traffic_labels/*.parquet" --- # CIC-IDS-2017 Dataset This repository contains the [CIC-IDS-2017 dataset](https://www.unb.ca/cic/datasets/ids-2017.html) with the original PCAPs and the CSVs converted to Parquet format for easier use. ## Dataset Structure ### Configurations 1. **`machine_learning`**: Contains the flow-based features used for ML training (Converted from `MachineLearningCVE` CSVs). 2. **`traffic_labels`**: Contains the labelled flows (Converted from `TrafficLabelling` CSVs). Timestamps have been normalized to UTC. ### Raw Data The `pcap/` folder contains the original PCAP files. These are not part of the Hugging Face Dataset Viewer but can be downloaded via Git LFS. ## License _(Copied from original dataset License section)_ The **CICIDS2017** dataset consists of labeled network flows, including full packet payloads in pcap format, the corresponding profiles and the labeled flows (GeneratedLabelledFlows.zip) and CSV files for machine and deep learning purpose (MachineLearningCSV.zip) are publicly available for researchers. If you are using our dataset, you should cite our related paper which outlining the details of the dataset and its underlying principles: - Iman Sharafaldin, Arash Habibi Lashkari, and Ali A. Ghorbani, “Toward Generating a New Intrusion Detection Dataset and Intrusion Traffic Characterization”, 4th International Conference on Information Systems Security and Privacy (ICISSP), Portugal, January 2018.--- pretty_name: "CIC-IDS-2017" language: - 英语 tags: - 网络安全 - 网络 - 数据包捕获(PCAP) - 流量流 task_categories: - 表格分类 configs: - config_name: machine_learning data_files: "machine_learning/*.parquet" - config_name: traffic_labels data_files: "traffic_labels/*.parquet" --- # CIC-IDS-2017 数据集 本仓库包含[CIC-IDS-2017数据集](https://www.unb.ca/cic/datasets/ids-2017.html)的原始PCAP文件，以及转换为Parquet格式的CSV文件，以提升使用便捷性。 ## 数据集结构 ### 配置项 1. **`machine_learning`**：存储用于机器学习训练的基于流量流的特征（由`MachineLearningCVE`格式的CSV文件转换而来）。 2. **`traffic_labels`**：存储带标签的流量流（由`TrafficLabelling`格式的CSV文件转换而来），其中时间戳已统一标准化为协调世界时(UTC)。 ### 原始数据 `pcap/` 文件夹包含原始PCAP文件。此类文件未纳入Hugging Face数据集查看器，但可通过Git LFS进行下载。 ## 许可证 （内容源自原数据集许可证章节） **CICIDS2017** 数据集由带标签的网络流量流构成，包含PCAP格式的完整数据包负载、相关配置文件，以及供机器学习与深度学习研究使用的带标签流量流文件（GeneratedLabelledFlows.zip）与CSV文件（MachineLearningCSV.zip），面向科研人员公开获取。若您使用本数据集，请引用下述阐述了数据集细节与底层原理的相关论文： - Iman Sharafaldin、Arash Habibi Lashkari与Ali A. Ghorbani，《面向新型入侵检测数据集构建与入侵流量特征分析》，第4届信息系统安全与隐私国际会议(ICISSP)，葡萄牙，2018年1月。

搜集汇总

数据集介绍

构建方式

在网络安全领域，入侵检测系统的性能高度依赖于高质量标注数据集的支撑。CIC-IDS-2017数据集源自加拿大网络安全研究所的经典研究项目，其构建过程严格遵循真实网络环境模拟原则。原始数据通过采集为期五天的正常与攻击流量PCAP包生成，涵盖暴力破解、DDoS、Web攻击等多种典型威胁场景。本仓库将原始CSV文件转换为高效的Parquet格式，并划分为两个配置：machine_learning配置存储基于流的机器学习特征，traffic_labels配置保留标注后的流量记录，时间戳统一归一化为UTC标准，极大便利了后续的数据处理与模型训练。

特点

该数据集具备鲜明的领域适配特性。首先，其流量标签体系完整覆盖良性行为与多种攻击类型，为多分类任务提供了坚实基础。其次，数据以流为单位提取超过80种网络特征，包括持续时间、包长度统计、窗口计数等，充分刻画了网络行为的时序与统计特性。此外，Parquet格式的列式存储结构显著提升了读写效率与内存友好性，特别适合大规模机器学习流水线。原始PCAP文件亦通过Git LFS提供，支持深层协议分析与流量还原研究。

使用方法

研究者可通过Hugging Face Datasets库便捷加载该数据集，指定machine_learning或traffic_labels配置即可获取相应Parquet文件。加载后的数据可直接用于训练分类模型，如随机森林、深度神经网络等，以检测异常网络流量。对于需要原始报文分析的场景，可通过Git LFS下载pcap文件夹中的PCAP文件，结合Wireshark等工具进行协议级解析。建议在实验前对特征进行标准化处理，并根据攻击类别的样本分布调整评估策略，以应对网络安全数据中常见的类别不平衡问题。

背景与挑战

背景概述

网络入侵检测系统（NIDS）作为网络安全防御体系的核心组件，其性能高度依赖于高质量标注数据集的支撑。CIC-IDS-2017数据集由加拿大新不伦瑞克大学（UNB）的加拿大网络安全研究所（CIC）于2017年创建，主要研究人员包括Iman Sharafaldin、Arash Habibi Lashkari和Ali A. Ghorbani。该数据集旨在解决传统入侵检测数据集（如KDD99）存在的流量陈旧、缺乏现代攻击多样性及隐私脱敏过度等问题，通过模拟真实网络环境生成包含完整PCAP载荷、双向流特征及精确时间戳的标注流量，涵盖暴力破解、DDoS、Web攻击等七类常见恶意行为。其发布为入侵检测领域的算法评估提供了标准化基准，被广泛引用并推动了机器学习与深度学习在网络安全应用中的研究进展。

当前挑战

CIC-IDS-2017数据集面临的挑战主要体现在两个方面。领域问题层面，网络攻击手段的持续演变使得数据集所涵盖的2017年攻击类型（如Heartbleed、DoS slowloris）逐渐陈旧，模型在检测零日攻击或高级持续性威胁（APT）时泛化能力不足；同时，真实网络环境中流量分布极度不均衡，正常流量占比过高导致分类器易产生偏差。构建过程层面，原始数据以PCAP和CSV格式存储，文件体积庞大且缺乏统一的数据加载接口，研究者需自行处理时间戳标准化与特征工程，增加了复现难度；此外，部分标签存在噪声（如良性流量被误标），且未提供持续更新的版本以适配新兴攻击模式，限制了其在动态威胁场景下的适用性。

常用场景

经典使用场景

在网络安全领域，入侵检测系统的性能评估高度依赖真实且全面的流量数据。CIC-IDS-2017数据集以其涵盖正常行为与多种攻击流量的丰富标注，成为训练和测试基于机器学习的入侵检测模型的经典基准。研究者通过提取流级特征，运用分类算法对恶意流量进行识别，从而验证模型在真实网络环境中的检测效能。

实际应用

在实际应用中，CIC-IDS-2017被广泛用于企业安全运维中的入侵检测系统原型开发与验证。安全厂商利用该数据集训练实时流量分析模型，以提升对新兴威胁的预警能力。同时，它还被用作高校网络安全课程的实践教学资源，帮助学生理解攻击模式与流量特征，弥合理论与实战之间的鸿沟。

衍生相关工作

基于该数据集，衍生出众多经典工作，如基于深度学习的卷积神经网络入侵检测模型、集成学习方法在流量分类中的优化，以及对抗性攻击对检测系统鲁棒性的影响研究。此外，研究者还利用其构建了多模态融合框架，结合流特征与载荷内容，进一步提升了复杂攻击的检测精度，推动了入侵检测领域的技术迭代。