PRISM: Application- and Process-Attributed Network Traffic Dataset
收藏资源简介：
PRISM是一个从Windows端点捕获的网络流量数据集，并标注了生成流量的应用程序和进程。每个会话（5元组流）存储为一个pcap文件，目录路径即为标签。数据集包含3天的流量（2026-07-10至2026-07-12），监控7台主机，共1,320,366个会话，199,326,467个数据包，压缩后大小为4.8 GB。提供89个应用标签和108个进程标签。数据以GitHub Release资产形式分发，不直接存储在Git仓库中。
PRISM is a network traffic dataset captured from Windows endpoints, with annotations for the applications and processes that generated the traffic. Each session (5-tuple flow) is stored as a PCAP file, with the directory path serving as the label. The dataset contains 3 days of network traffic (2026-07-10 to 2026-07-12), monitoring 7 hosts, totaling 1,320,366 sessions and 199,326,467 packets, with a compressed size of 4.8 GB. It provides 89 application labels and 108 process labels. The data is distributed as GitHub Release assets and is not stored directly in the Git repository.
数据集概述
数据集名称：PRISM: Application- and Process-Attributed Network Traffic Dataset
数据来源：从 Windows 终端捕获的网络流量，并标注了生成流量的应用程序和进程。
采集时间：2026年7月10日–2026年7月12日（3天）
监控主机数：7台
会话数：1,320,366个pcap文件（每个会话一个文件，目录路径即标签）
数据规模：
- 总数据量：16.7 GB（压缩后4.8 GB）
- 总数据包数：199,326,467个
- 会话文件数：1,320,366个
标签数量：
- 应用标签：89个
- 进程标签：108个
许可协议：
- 数据：CC BY 4.0
- 代码：MIT
数据获取方式
数据不存储在Git仓库中，需要从GitHub Release页面下载压缩包。下载脚本为：
bash ./scripts/download.sh # 下载 + 校验SHA-256 + 解压
也可手动从Releases页面下载以下资产：
| 资产文件 | 大小 | 内容 |
|---|---|---|
PRISM_sessions_2026.07.10_part1.tar.zst |
1.19 GiB | 07-10，主机10.0.0.1–4 |
PRISM_sessions_2026.07.10_part2.tar.zst |
1.00 GiB | 07-10，主机10.0.0.5–7 |
PRISM_sessions_2026.07.11.tar.zst |
1.21 GiB | 07-11，所有主机 |
PRISM_sessions_2026.07.12.tar.zst |
1.28 GiB | 07-12，所有主机 |
PRISM_views.tar.zst |
0.08 GiB | 视图树 + 清单文件 |
所有归档解压到同一根目录（PRISM_2026.07.10-12/），合并为一个树结构。注意解压顺序：先解压会话归档，再解压PRISM_views.tar.zst。
目录结构
数据集从三个视角组织，只有sessions/包含真实pcap文件，其余两个视角通过相对符号链接指向sessions/，不额外占用磁盘空间：
PRISM_2026.07.10-12/ ├── sessions/ # 原始采集布局（真实文件） │ └── 2026.07.<DD>/ │ ├── 10.0.0.<N>/ # 匿名化主机（N = 1..7） │ │ └── <application>/ # 应用名或<进程>.exe │ │ ├── [<子进程>.exe/] │ │ └── [<服务|域名>/] │ │ └── <PROTO><ip><port><ip>_<port>[<ts>].pcap │ └── _exp_summary.json # 每日、每主机的标签统计 ├── byproduct/ # 应用视角（89个标签） │ └── 2026.07.<DD>/<application>/[...]/.pcap ├── byproduct_process/ # 进程视角（108个标签） │ └── 2026.07.<DD>/<process>.exe/[...]/.pcap ├── byproduct.manifest.tsv # 视图路径 ↔ 会话路径映射 └── byproduct_process.manifest.tsv
各视角说明：
| 视角 | 顶层目录 = 标签 | 标签数量 | 说明 |
|---|---|---|---|
sessions/ |
（按主机划分） | — | 原始采集，适合按主机分析 |
byproduct/ |
应用 | 89 | 主机合并；顶层条目去除.exe后缀 |
byproduct_process/ |
进程 | 108 | 主机合并；多进程应用的子进程提升到顶层 |
论文实验使用byproduct/（应用分类）和byproduct_process/（进程分类）。
文件名编码：文件名包含5元组（协议、源IP、源端口、目的IP、目的端口）。当同一5元组重复出现时，会附加捕获时间戳（YYYYMMDD_HHMMSS_mmm）以区分。遇到文件名冲突时，相同文件合并，不同文件保留__dupN.pcap后缀（共122例）。
无符号链接支持的文件系统：在Windows或某些网络共享上，两个视图树可能无法工作。可通过以下命令重建为真实文件：
bash python3 scripts/materialize_views.py PRISM_2026.07.10-12 --mode hardlink
--mode copy也可用，但每个视图额外占用16.7 GB；在相同文件系统上，hardlink行为与真实文件完全相同且无额外成本。
匿名化处理
所有属于采集机构地址范围的IPv4地址已被确定性替换，替换一致适用于目录名、文件名和数据包头。
| 原始地址 | 替换为 |
|---|---|
| 7个监控主机 | 10.0.0.1 – 10.0.0.7 |
| 66个其他内部主机 | 10.9.<s>.<h> |
匿名化特性：
- 双射（1:1）：不同地址不会合并，保持按主机聚合和流关联的可能性。
- /24子网结构保留：原始共享/24的节点在替换后仍共享
10.9.<s>.0/24。 - 监控主机单独分配：7个监控主机刻意不保留在原子网，移至独立块以保护数据主体的网络位置。
- 反向映射表不公开。
未修改的部分：外部地址（非采集机构范围）、RFC 1918私有地址均未改动。有效载荷、TLS SNI、DNS查询名称、端口、时间戳及所有应用/进程标签均按采集原样保留。
验证结果：发布树中所有199,326,467个数据包被重新读取，在包头和路径名中未发现任何残留机构地址。
捕获特性（分析前须知）
- 链路层：以太网。MAC地址在采集时已置零（
00:00:00:00:00:00），因此不存在L2信息。 - 协议：100% IPv4，仅TCP和UDP。无IPv6、VLAN、ARP、ICMP或IP分片。
- 校验和：大量TCP/UDP校验和无效，这是原始采集的checksum-offload现象，并非匿名化导致——匿名化完全保留了每个数据包的校验和有效/无效状态（IPv4头校验和全部有效）。依赖校验和验证的分析应注意到这一点。
- 截断：许多数据包存在
frame.cap_len < frame.len（抓包长度截断）。 - 最小会话过滤：采集时排除了会话数低于阈值（默认10）的应用，详见
_exp_summary.json中的excluded_apps字段。 - 非
.exe桶排除：无法归属到特定进程的System和unknown流量（139,678个会话）已从发布中排除，每个发布的会话都携带标签。每主机的排除计数保存在_exp_summary.json的ips[*].excluded_from_release中。
预处理与使用
数据集以原始按会话pcap文件形式发布，可自由构建所需的预处理。标签位于目录路径中，无需单独的标签文件——直接使用byproduct/（应用）或byproduct_process/（进程）下的顶层目录名作为类别即可。
论文中使用的三种模型（2D CNN、ET-BERT、XGBoost）的预处理代码将另行发布，各模型的输入表示和设置在论文第4.1节中描述。
引用格式
bibtex @dataset{prism2026, title = {PRISM: Application- and Process-Attributed Network Traffic Dataset}, year = {2026}, note = {KNOM Review, Vol.29, No.1}, url = {https://github.com/illiard1209/PRISM-2026-Dataset} }
许可与使用注意
- 数据：CC BY 4.0 — 可自由使用、再分发和改编，包括商业用途，需注明出处。
- 代码（
scripts/）：MIT — 见LICENSE-CODE。
数据已匿名化但源自真实用户活动，禁止尝试重新识别个体主机或用户。
