DuyTa/cve-kgrag-db

一个经过处理、可直接摄取的知识库，用于基于CVE（通用漏洞披露）的检索增强生成（RAG），并关联到CWE（通用弱点枚举）、CAPEC（攻击模式分类和枚举）和MITRE ATT&CK（对抗战术、技术和常见知识）框架。

A processed, ready-to-ingest knowledge base for retrieval-augmented generation over CVEs, linked to CWE, CAPEC, and MITRE ATT&CK.

搜集汇总

数据集介绍

构建方式

该数据集通过系统性地整合美国国家漏洞数据库（NVD）、MITRE的CWE、CAPEC及ATT&CK框架，并辅以FKIE提供的补充描述，构建起一个多源融合的知识库。数据处理流程涵盖从NVD JSON源的下载、CVE与CWE/CAPEC/MITRE映射关系的确定性关联，到结构化知识的导出与分块。最终产出包括用于图数据库Neo4j的节点与关系JSON文件、面向向量数据库Qdrant和稀疏索引BM25的预分块文本及有效载荷，以及携带完整映射关系的增强文档。整个构建流程以可复现的流水线形式组织，并提供了完整的源代码。

特点

该数据集最显著的特点是其多维关联的图结构，它将超过32万条CVE记录与768个CWE弱点、443个CAPEC攻击模式、174个MITRE ATT&CK技术及37个战术通过数千万条边紧密链接，形成了丰富的安全知识图谱。数据以多种格式共存，既包含可直接导入图数据库的图结构数据，也包含专为检索增强生成（RAG）优化的分块文本，每个文本块都附带了详尽的过滤标签，如严重等级、CWE标识、MITRE战术等。此外，数据集支持增量更新，可高效地捕获每日新增的漏洞情报。

使用方法

使用该数据集时，首先通过Hugging Face CLI下载完整数据包。随后，用户可根据检索需求选择不同的后端引擎：运行`load_neo4j.py`脚本可将图数据批量导入Neo4j图数据库，以支撑复杂的关系查询和路径分析；运行`load_qdrant.py`脚本则构建起Qdrant向量数据库，同时支持稠密向量和稀疏向量的混合检索；对于纯关键词搜索场景，可运行`load_bm25.py`脚本生成内存中的BM25索引。为使数据保持时效性，`update_from_fkie.py`脚本可定期从FKIE数据源拉取增量更新，并智能地局部更新增强文档和图数据，随后重新导入至Qdrant和Neo4j中。

背景与挑战

背景概述

在网络安全领域，通用漏洞披露（CVE）数据的有效管理与检索是威胁分析与应急响应的核心挑战之一。由MITRE、NVD及FKIE等多家权威机构联合构建的CVE-KGRAG知识图谱数据库，于2026年正式发布，旨在通过知识图谱与检索增强生成（RAG）技术的深度融合，构建一个结构化、可增量更新的安全知识基础设施。该数据集整合了超过32.7万条CVE记录、768种CWE（通用弱点枚举）、443种CAPEC（攻击模式分类）以及174种MITRE ATT&CK技术，形成了包含660,760个向量化片段和170万实体关系的多层次知识网络。通过融合混合检索（稠密+稀疏）、图数据库与BM25算法，该数据集为安全领域的大语言模型应用提供了高精度的上下文增强能力，显著推动了自动化漏洞分析、威胁情报关联推演和安全问答系统的性能边界。

当前挑战

该数据集面临的核心挑战可归结为三个层面：首先在领域问题层面，CVE数据分散于NVD、MITRE等多个异构源，格式不统一且存在延迟，传统方法难以在毫秒级响应内实现跨库关联检索与时效性保障；其次在构建过程中，CVE与CAPEC、ATT&CK之间的语义映射依赖LLM辅助，单次GPU映射耗时长（需数小时），且不同来源的CWE补充描述（如FKIE）可能存在歧义，影响映射准确性；此外，数据增量更新机制面临一致性维护难题——NVD每日更新导致知识图谱与向量索引需要同步更新，而BM25的IDF统计量会随时间漂移，需在更新敏感性与计算资源消耗之间寻求平衡，同时确保KG节点、关系与分块数据的原子性替换。

常用场景

经典使用场景

在网络安全研究领域，CVE-KGRAG知识库是一个专为检索增强生成（RAG）设计的综合性数据集，其核心用途在于构建基于知识图谱的漏洞关联分析系统。研究人员可利用该数据集将CVE漏洞条目与CWE弱点分类、CAPEC攻击模式和MITRE ATT&CK战术技术进行多跳链接，实现从漏洞成因到攻击链的完整追溯。数据集中预处理的图结构、嵌入向量和稀疏索引文件，使得开发者能够快速在Neo4j图数据库和Qdrant向量数据库中建立混合检索管道，从而支撑诸如智能问答、威胁情报关联分析和自动化漏洞报告生成等经典研究任务。

衍生相关工作

该数据集催生了一系列面向网络安全知识推理的衍生研究工作。基于其预构建的知识图谱，研究者开发了图神经网络驱动的漏洞影响力传播模型，能够在CVE-CWE-CAPEC关联网络中预测新兴漏洞的高风险攻击路径。另一项经典工作是融合稀疏检索与稠密嵌入的混合RAG系统，该数据集提供的BM25词汇表和预分块文本直接支撑了稀疏-稠密双编码器的对比实验，验证了多模态检索在漏洞问答任务中相对于单一检索范式的性能优势。此外，数据集中包含的增量更新脚本（update_from_fkie）为动态知识图谱的持续学习研究提供了工程范例，推动了时间感知型漏洞知识库的构建方法论发展。

数据集最近研究

最新研究方向

该数据集聚焦于网络安全领域知识图谱与检索增强生成（RAG）的深度融合前沿。研究热点在于将CVE漏洞信息与CWE、CAPEC及MITRE ATT&CK框架实现多源异构数据关联，构建了超过32万条CVE记录的巨量知识库。其核心创新在于支持混合检索范式，即同时集成稠密向量检索与稀疏BM25算法，并兼容Neo4j图数据库存储，为漏洞情报的实时问答与威胁猎杀提供技术基座。尤其值得关注的是该数据集内置的增量更新机制，能够从FKIE数据源每6小时同步新漏洞，结合LLM辅助的TTP映射流水线，使知识库在瞬息万变的威胁态势下保持活性和时效性。这一研究方向不仅加速了自动化工单系统与安全运维智能体的研发，更可能重塑漏洞响应与威胁情报分析的工作流范式。