MACyber-INT

MACyber是一个网络安全基准和评估工具包，用于结构化安全情报数据。它提供MACyber-INT基准，包含31个数据集，分为七个高级领域：网络流量安全、物联网安全、系统日志安全、DNS安全威胁、Web安全威胁、漏洞情报和威胁情报。每个样本遵循MACyber模式，包括元数据、特征、标签、推理和响应字段。MACyber is a cybersecurity benchmark and evaluation toolkit designed for structured security intelligence data. It provides the MACyber-INT benchmark, which includes 31 datasets categorized into seven high-level domains: network traffic security, IoT security, system log security, DNS security threats, Web security threats, vulnerability intelligence and threat intelligence. Each sample follows the MACyber schema, covering metadata, features, labels, inference and response fields.

原始信息汇总

数据集概述：MACyber

MACyber 是一个面向结构化安全情报数据的网络安全基准测试与评估工具包。它提供了 MACyber-INT 基准测试、构建与评估脚本、论文最终结果，以及 MACyber-12B 使用的威胁情报 RAG 资源。

仓库布局

项目根目录 MACyber/ 包含以下核心目录：

• MACyber-INT_benchmark/：按领域分组的基准测试数据集。
• MACyber-12B/：包含 CyberLoRA 和威胁情报 RAG 资源。
• Benchmark_Construction/：原始数据转换和模式验证脚本。
• Benchmark_Evaluation/：生成和评估脚本。
• Evaluation_Results/：论文中使用的最终结果表格。

基准测试数据

基准测试包含 31 个数据集，组织成七个高级领域：

• 网络流量安全 (Network Traffic Security)
• 物联网安全 (IoT Security)
• 系统日志安全 (System Log Security)
• DNS 安全威胁 (DNS Security Threat)
• Web 安全威胁 (Web Security Threat)
• 漏洞情报 (Vulnerability Intelligence)
• 威胁情报 (Threat Intelligence)

每个基准测试文件以 JSON 列表格式存储，路径为 MACyber-INT_benchmark/<domain>/<dataset>.json。分类法位于 MACyber-INT_benchmark/taxonomy.json。正式的数据集名称及其对应的内部 DATASET_THREAT_TYPES 键映射在 MACyber-INT_benchmark/dataset_name_mapping.json 中列出。

数据模式

每个样本遵循 MACyber 模式，包含以下字段：

• meta：包含数据集的领域 (category) 和数据集名称 (subcategory)。
• json：包含特征名称和对应的特征值。
• label：包含官方威胁标签 (official) 和严重性等级 (severity)，严重性等级为 benign | suspicious | low | medium | high。
• reasoning：包含证据列表 (evidence) 和分析文本 (analysis)。
• response：包含建议的操作 (action)，为 none | monitor | block，以及简要理由 (reason)。

安装与环境配置

• 推荐 Python 3.10 或更新版本。
• 通过 git clone https://github.com/qcydm/MACyber.git 克隆仓库，并使用 pip install -r requirements.txt 安装依赖。
• 模型答案生成使用兼容 OpenAI 的聊天补全 API，需要设置 OPENAI_API_KEY、OPENAI_BASE_URL 和 OPENAI_MODEL 环境变量。
• 自动评判默认使用 DashScope Qwen3-Max，需要设置 DASHSCOPE_API_KEY 和 DASHSCOPE_MODEL 环境变量。

快速评估

1. 生成答案：使用 Benchmark_Evaluation/generate_answers.py，指定输入文件、输出路径、数据集类型和 API 配置。
2. 评估答案：使用 Benchmark_Evaluation/evaluate_model.py，指定标准文件、模型输出文件和评判模型。
3. 批量评估：使用 Benchmark_Evaluation/batch_eval.py，支持 --tiny N 参数进行小规模调试，以及 --datasets 参数限制评估范围。

威胁情报 RAG

生成脚本支持威胁情报 RAG 模式，通过 --use-rag 和 --rag-top-k 参数启用。RAG 路由器根据当前样本的 meta.subcategory 是否存在于已知攻击知识库，选择已知攻击通道或未知攻击相似度通道。相关资源位于 MACyber-12B/Threat Intelligence RAG/ 目录。

基准测试构建

• 转换数据：使用 Benchmark_Construction/convert.py 将原始 CSV 记录转换为 MACyber JSON 模式。
• 验证文件：使用 Benchmark_Construction/validate_schema.py 验证基准测试文件。

评分机制

Benchmark_Evaluation/evaluate_model.py 计算四个维度的加权分数：

• reasoning（推理）：40%
• official（官方标签）：30%
• action（操作）：20%
• severity（严重性）：10%

其中 official 和 action 为精确匹配字段，severity 按严重性级别距离评分，reasoning 由 DashScope qwen3-max 根据参考证据和分析进行评判。

结果输出

论文的最终结果表格位于 Evaluation_Results/ 目录。新生成的模型输出默认写入 Benchmark_Evaluation/outputs/ 目录。

搜集汇总

数据集介绍

构建方式

MACyber-INT数据集的构建首先从原始CSV格式的安全日志、威胁情报等结构化数据出发，通过数据转换脚本将其统一转化为MACyber标准化JSON模式。每个样本严格遵循包含元信息、特征字段、威胁标签、推理链条与响应策略的五层架构，其中元信息标注领域归属与数据集名称，威胁标签包含官方分类与严重性分级，推理链条则提供详尽的证据与分析逻辑。构建过程辅以模式验证脚本确保数据完整性，最终形成横跨网络安全流量、物联网安全、系统日志安全、DNS威胁、Web威胁、漏洞情报与威胁情报七大领域的31个子数据集，其分类体系与数据集映射关系分别记录于taxonomy.json和dataset_name_mapping.json中。

特点

MACyber-INT数据集的核心特色在于其高度结构化的威胁响应导向设计。每个样本不仅具备传统数据集的分类标签，更创新性地引入了五级严重性量化评分与精准响应动作建议（无操作、监控、阻断），构建起从威胁识别到处置决策的完整知识链路。推理链条部分以证据列表与逐步分析的形式呈现安全研判过程，使数据集兼具评估与教学价值。此外，数据集覆盖七大安全领域，其威胁类型涵盖已知攻击与未知攻击两种场景，特别是与威胁情报RAG检索增强模块的深度耦合，使得数据集能够支持基于上下文的动态检索，显著提升了对复杂、未知威胁的认知与防御能力。

使用方法

使用MACyber-INT数据集时，推荐采用Python 3.10及以上环境，通过克隆仓库并安装依赖完成基础配置。模型回答生成需配置OpenAI兼容的API端点，自动评分依赖DashScope的Qwen3-Max模型。评估流程分为两步：首先对指定数据集生成模型答案，随后调用评分脚本计算推理准确性、官方标签匹配、动作正确性及严重性距离四维加权得分，权重分别为40%、30%、20%与10%。支持批量评估与调试子集模式。对于威胁情报RAG增强场景，可通过启用检索标记与配置top-k参数，使模型能够调用已知攻击知识库或未知攻击相似性通道进行上下文推理，大幅提升在知/未知威胁混合场景下的判别鲁棒性。

背景与挑战

背景概述

MACyber-INT数据集由研究团队于近期构建，旨在解决网络安全领域中结构化安全情报数据的标准化评估难题。该工作汇聚了来自网络流量安全、物联网安全、系统日志安全、DNS威胁、Web威胁、漏洞情报及威胁情报等七个高影响力领域的31个基准数据集。其核心研究问题在于如何为多源异构的网络安全数据建立统一的评价体系，并推动大语言模型在威胁检测与响应中的可信应用。通过提供标准化的数据模式、检索增强生成（RAG）资源以及多维评分机制，MACyber-INT为安全智能体系统的横向比较与性能提升奠定了坚实基础，已成为该领域极具参考价值的开源基准。

当前挑战

MACyber-INT所应对的领域挑战主要源自网络安全数据的高度异质性与威胁态势的动态演变。不同来源的日志、流量与情报样本结构迥异，缺乏统一标注范式，使得模型泛化能力评估困难重重。构建过程中面临多重挑战：其一，如何将原始CSV记录精准转换为包含证据链与推理步骤的通用JSON模式；其二，需为31个数据集手工定义细粒度威胁分类体系，并确保标签语义在不同子领域间一致；其三，构建针对已知与未知攻击的双通道RAG知识库，要求检索系统能在毫秒级内从高维向量空间中召回相关威胁情报。这些技术难题共同构成了数据集构建与评估的核心瓶颈。

常用场景

经典使用场景

在网络安全这一日益复杂的领域中，MACyber-INT数据集作为首个覆盖七大安全领域的结构化威胁情报基准，被广泛用于评估和训练大语言模型在网络安全任务上的推理与生成能力。经典使用场景包括网络流量安全分析、物联网设备威胁检测、系统日志异常识别、DNS隧道攻击预警、Web应用渗透行为判断、漏洞情报分类以及多源威胁情报融合。研究者通常将MACyber-INT中的样本作为标准输入，要求模型输出包含威胁标签、严重等级、推理链条及处置动作的完整响应，从而系统性地检验模型对结构化安全数据的理解深度与决策准确度。

解决学术问题

该数据集从根本上解决了网络安全领域长期以来缺乏统一、细粒度且结构化的标准基准来量化评估大语言模型性能的学术困境。传统安全基准往往局限于单一领域或碎片化标签，难以反映真实环境中多维度、多层次的威胁感知需求。MACyber-INT通过引入包含证据链、推理过程与动作建议的四维评分体系（推理40%、官方标签30%、动作20%、严重度10%），为模型在威胁研判、因果推断与决策合理性等关键维度上提供了可复现、可比较的评估范式，显著推动了结构化安全智能评测方法的规范化与科学化。

衍生相关工作

围绕MACyber-INT数据集，学术界已衍生出一系列富有影响力的前沿工作。一方面，研究者基于其分层分类体系构建了面向网络安全领域的大语言模型持续微调框架CyberLoRA，探索低秩适配在威胁情报理解任务中的迁移效果。另一方面，该基准催生了结合检索增强生成的威胁智能问答系统，通过已知/未知攻击双通道检索机制显著提升了模型在低频威胁场景下的判别鲁棒性。此外，MACyber-INT的四维加权评分方法已被后续工作广泛采纳，成为设计安全领域生成式模型评估指标的参考范本，有效促进了安全智能化评测体系的生态化发展。