eiphuggincve/cve-cwe-consensus

CVE到CWE共识数据集是一个多标签数据集，用于将CVE漏洞描述映射到其CWE弱点类型，专为微调指令调优的大型语言模型（例如使用Unsloth）而构建。每个标签都是共识分配：仅当NVD和CVE编号机构（CNA）独立同意，并将两者汇总到CWE View-1003（约130个弱点的“简化已发布漏洞映射弱点”）时，才保留CWE。数据集包含116,793个示例，格式为对话式消息（系统/用户/助手），适用于聊天模板监督微调。标签基于两个独立官方来源（NVD和CNA）的交集构建，从而排除了单源错误。数据集用于CVE描述分类为CWE类型的模型微调或评估，支持漏洞分类、丰富和优先级辅助任务。A multi-label dataset mapping CVE vulnerability descriptions to their CWE weakness type(s), built for fine-tuning instruction-tuned LLMs (e.g. with Unsloth). Each label is a consensus assignment: a CWE is kept only when NVD and the CVE Numbering Authority (CNA) independently agree on it, after rolling both up to CWE View-1003 (the ~130-weakness Weaknesses for Simplified Mapping of Published Vulnerabilities). The dataset contains 116,793 examples in a conversational messages format (system/user/assistant), ready for chat-template supervised fine-tuning. Labels are the intersection of two independent official sources (NVD and CNA), excluding single-source errors by construction. It is intended for fine-tuning or evaluating models that classify CVE descriptions into CWE types, supporting vulnerability triage, enrichment, and prioritization tasks.

搜集汇总

数据集介绍

构建方式

该数据集致力于建立CVE漏洞描述与CWE弱点类型间的多标签映射关系。构建过程严格遵循权威上游来源，涵盖NVD CVE API 2.0、CVEProject/cvelistV5及MITRE CWE v4.20目录。首先，将NVD与CNA各自分配的CWE编号统一上卷至CWE View-1003层级；随后，取二者上卷结果集的交集作为共识标签，仅保留双方一致认定的CWE，从而剔除单源错误。此外，还实施了严格的过滤流程，包括剔除REJECTED或DISPUTED状态的CVE、非英文及过短的描述，并排除伪标签。为保障数据纯净，借助MinHash算法对近重复描述进行去重，确保相似文本完整归属于同一数据划分。最终，对每个CWE标签的样本数量进行上限约束（2500条），以平衡类别分布。

特点

数据集包含69,386个精心构造的样本，按约80/10/10比例划分为训练集、验证集和测试集。其核心特征在于共识机制赋予标签高精度特性，显著降低了因单一来源歧义或错误引入的噪声，使数据质量优于原始CVE群体。标签空间涵盖127种View-1003下的CWE类型，经稀有标签过滤后保留约117种有效类别，呈现出典型的长尾分布（CWE-79最为常见）。多数样本仅携带单一标签，约14%的样本涉及多个CWE。值得注意的是，共识样本显著集中于2023年及之后披露的CVE，反映了CNA填写CWE规范的演变趋势，这也是该数据集主要的时间偏差来源。

使用方法

数据集采用对话式消息格式，每条记录包含system、user与assistant消息体，已适配聊天模板，可直接用于指令微调模型。其中，system消息设定了漏洞分析专家的角色，user消息提供CVE描述文本（仅含描述，不含CVE ID以避免记忆泄露），assistant消息输出逗号分隔的CWE ID列表（数值升序排列）。该设计使其无缝兼容Unsloth等框架的监督微调流程。研究者可直接加载此数据集用于多标签分类或文本生成任务，推荐以精确匹配率及微平均/宏平均F1值作为测试集上的评价指标。数据集遵循CC BY 4.0许可协议，同时要求使用者尊重NVD、CVE Program与MITRE CWE的原始使用条款。

背景与挑战

背景概述

在网络安全领域，通用漏洞披露（CVE）与通用弱点枚举（CWE）之间的精准映射是自动化漏洞分析与优先级排序的核心基础。传统上，CVE至CWE的对应关系由美国国家漏洞数据库（NVD）与CVE编号机构（CNA）独立维护，但两者间常因分析视角或资源差异而产生分歧，导致标签不一致。为弥合这一鸿沟，exploitintel团队于2026年推出了CVE-to-CWE Consensus数据集，该数据集基于NVD、CVEProject/cvelistV5及MITRE CWE官方来源，通过将原始CWE编码统一归约至CWE View-1003层次，仅保留NVD与CNA独立一致的交集标签，构建了约6.9万条高质量、多标签的指令微调样本。该数据集的发布填补了细粒度漏洞分类训练数据中高置信度、低噪声资源的空白，特别为大规模语言模型在网络安全领域的少样本学习与自动化漏洞分类任务提供了可靠基准，推动了从人工审计向智能分流的技术演进。

当前挑战

该数据集面临的核心挑战在于解决领域问题的先天复杂性：CVE表述的模糊性与异构性使得多标签分类模型需同时应对长尾分布与共现模式，例如跨站脚本（CWE-79）常与跨站请求伪造（CWE-352）叠加，而模型需从碎片化描述中精准解耦。构建过程中，原始354,163条CVE记录中仅约33%达成NVD与CNA的共识，大量因分析师观点冲突或单方标注缺失而丢弃的数据，暴露出官方数据源间的不一致是清洗与对齐的最大障碍。此外，为抑制常见弱点类别的样本过饱和（如CWE-79占比过大），团队实施了每标签2,500例的上限平衡策略，虽缓解了分布偏斜，却牺牲了自然频率信息。更严峻的挑战来自时间偏差：共识高度集中在2023年后的CVE，早于CNA规范标注期的历史漏洞在数据集中代表性不足，限制了模型对老旧漏洞模式的泛化能力，而归约至View-1003则舍弃了子类缺陷的细粒度特异信息，可能降低对新型或变种漏洞的判别性能。

常用场景

经典使用场景

在网络安全领域，漏洞分析与分类是安全运营的基石。该数据集通过将CVE漏洞描述映射至CWE弱类型，构建了一个多标签文本分类的经典基准。其核心用途在于监督微调指令型大语言模型，使其能够精准识别给定漏洞描述所对应的CWE类型组合。每条样本均采用对话格式，包含系统提示、用户输入及助手输出，直接适配聊天模板的高效微调范式。由于其标签源于NVD与CNA双重共识且经View-1003层级归约，确保了标注的高精度与一致性，成为评估多标签分类模型性能的可靠测试床。

实际应用

在实际安全运营中，该数据集赋能了自动化漏洞研判的流水线。经微调的模型可作为智能辅助，在漏洞扫描报告推送至分析员之前，自动完成CWE类型的初步标注。这极大缩短了从漏洞披露到分类入库的响应周期，尤其适用于大型组织每日处理数百条CVE的优先排序场景。此外，在安全编排与自动化响应平台中，该模型能驱动基于弱类型的告警聚合与路由，助力安全团队聚焦高危漏洞。其高精度共识设计还降低了误报率，使自动化分类结果更可信赖地融入工单系统。

衍生相关工作

该数据集衍生出多项推动安全分析智能化的工作。基于其共识标签的纯净性，研究者将其用于构建更鲁棒的多标签分类骨干模型，并对比了不同预训练编码器（如BERT、RoBERTa、CodeBERT）在漏洞类型识别上的表现。此外，有工作利用该数据集的对话格式，探索了指令微调对少样本与零样本泛化的增益，验证了在未见CWE类型上的迁移能力。亦有研究将其作为基准，评估大语言模型在开放生成任务（如漏洞描述解释）中输出与标准分类一致性的校准方法，推动了可信AI在安全领域的应用边界。