Network Pipeline Datasets

本仓库包含从网络流量捕获中生成的CSV格式数据集，用于在ZAP扫描期间对Web应用程序进行扫描。这些数据集旨在帮助构建、训练和调整防御性机器学习模型，以保护您的应用程序。

This repository hosts CSV-formatted datasets generated from network traffic captures, which are intended for web application scanning during ZAP scans. These datasets are designed to assist in building, training, and tuning defensive machine learning models for application protection.

原始信息汇总

网络管道数据集

概述

该仓库包含在ZAP扫描Web应用程序期间捕获的网络流量CSV数据集。这些数据集旨在帮助构建、训练和调整防御性机器学习模型，以保护您的应用程序。

数据集生成

数据集通过Network Pipeline捕获框架生成。在捕获框架运行期间，进行了ZAP simulations以扫描目标Web应用程序。

捕获的应用服务器

数据集来自运行在Ubuntu 17.10虚拟机上的应用程序服务器。

Python

• Flask RESTplus示例
• Django 2.0

Node.js

• React + Redux示例
• Vue示例

Java

• Spring Pet Clinic示例（Docker环境）

搜集汇总

数据集介绍

构建方式

Network Pipeline Datasets数据集的构建是通过运用`Network Pipeline`捕获框架，在运行ZAP模拟扫描特定Web应用程序时收集的网络流量信息生成的。这些数据集来源于在运行Ubuntu 17.10虚拟机上的应用程序服务器，涉及多种后端技术，如Python的Flask RESTplus和Django 2.0，Node.js的React + Redux和Vue，以及Java的Spring Pet Clinic。

特点

该数据集的特点在于其详尽地记录了不同Web应用框架在网络层面的交互数据。它不仅涵盖了多种编程语言和框架，还包括了通过ZAP（Zed Attack Proxy）工具捕获的安全漏洞信息，为研究者提供了丰富的样本以构建和优化防御性的机器学习模型，以增强Web应用的安全性。

使用方法

使用该数据集时，研究者首先需要了解数据集中的CSV文件格式及其所包含的字段信息。数据集可以直接用于机器学习模型的训练与调优，用户可以根据自己的需求，选择合适的模型和算法，对数据集进行预处理、特征提取和模型评估等步骤，进而提升模型在网络安全防护方面的效能。

背景与挑战

背景概述

Network Pipeline Datasets是一组由网络流量捕获生成的CSV格式数据集，旨在辅助构建、训练和优化防御性机器学习模型，以保护Web应用程序。该数据集的创建时间为近年，由jay-johnson维护的Network Pipeline捕获框架生成，并在进行ZAP（Zed Attack Proxy）模拟扫描时捕获了目标Web应用程序的流量。这些数据集的生成，不仅反映了网络安全领域对机器学习技术的应用需求，也体现了该领域研究人员对于提高网络防御能力的积极探索。其对网络安全、机器学习结合防御模型构建的相关领域产生了积极影响，推动了相关技术的发展。

当前挑战

该数据集在解决网络应用程序防御问题时，面临的挑战包括：确保捕获的网络流量数据的真实性和多样性，以及如何在大量数据中提取有效特征以供机器学习模型训练。在构建过程中，挑战还包括了如何高效运行ZAP模拟扫描，以及如何适应不同编程语言（如Python、Node.js、Java）环境下应用程序服务器的网络流量捕获。此外，数据集的泛化能力、模型的准确性和实时防御效果也是当前面临的实际问题。

常用场景

经典使用场景

在网络安全领域，Network Pipeline Datasets数据集因其对网络流量捕获的详实记录，被广泛应用于构建、训练和调整防御性的机器学习模型，旨在提升对Web应用的保护能力。

实际应用

实际应用中，Network Pipeline Datasets被用于网络安全监控系统的开发，通过实时分析网络流量数据，及时发现并响应潜在的安全威胁。

衍生相关工作

基于该数据集，研究者们衍生出一系列相关工作，如构建更为高效的入侵检测系统、网络异常行为分析模型等，进一步推动了网络安全领域的研究进展。