ussooraj/PrimeVul

PrimeVul数据集是一个用于LLM（大型语言模型）微调的修改版数据集，基于原始的PrimeVul数据集进行了轻微的修改。数据集包括训练集、验证集和测试集，分别存储在train.jsonl、valid.jsonl和test.jsonl文件中。

PrimeVul dataset is a slightly modified version of the original PrimeVul dataset for LLM fine-tuning. It includes training, validation, and test sets, stored in train.jsonl, valid.jsonl, and test.jsonl files respectively.

搜集汇总

数据集介绍

构建方式

PrimeVul数据集源自对开源漏洞检测领域权威资源PrimeVul的精心改良与适配。其构建过程以原始PrimeVul为基础，针对大语言模型微调场景进行了专门优化，通过调整数据格式与标注粒度，确保样本能够高效驱动模型学习。数据集划分为训练集、验证集和测试集，分别存储于train.jsonl、valid.jsonl和test.jsonl文件中，采用JSON Lines格式组织，便于逐行读取与处理。这种设计既保留了原始数据在漏洞检测任务上的丰富性，又提升了与主流深度学习框架的兼容性。

特点

PrimeVul的核心特点在于其面向大语言模型微调的针对性设计。作为PrimeVul的镜像增强版本，它继承了原始数据集在软件漏洞检测领域的专业标注，涵盖多种常见漏洞类型，确保了数据的领域权威性。同时，数据集通过精简与重构，降低了样本噪声，提高了标注一致性，使得模型能够更有效地学习漏洞模式。其分片结构（训练、验证、测试）支持标准化的模型评估流程，为漏洞检测任务的复现与比较提供了可靠基准。

使用方法

使用PrimeVul数据集时，可直接通过HuggingFace Datasets库加载，指定配置名为'default'即可自动获取各分片数据。训练时，推荐将train.jsonl用于模型参数更新，valid.jsonl用于超参数调优与早停判断，test.jsonl用于最终性能评估。数据以JSON Lines格式呈现，每条记录包含代码片段及其对应的漏洞标签，用户可依据任务需求设计输入模板，将代码文本与标签映射为模型可理解的序列格式，适用于文本分类或序列标注等下游任务。

背景与挑战

背景概述

PrimeVul数据集诞生于软件安全领域对深度学习漏洞检测模型日益增长的需求之中。该数据集由DLVulDet研究团队创建，旨在为大规模预训练语言模型提供高质量的漏洞检测训练基准。其核心研究问题聚焦于如何构建一个兼具规模与标注精度的代码漏洞数据集，以克服传统数据集存在的噪声过多、样本不平衡等缺陷。自发布以来，PrimeVul已成为评估和微调代码理解模型在安全任务上表现的重要资源，尤其推动了LLM在自动化漏洞识别方向的发展，对提升软件供应链安全具有深远影响。

当前挑战

PrimeVul所解决的领域挑战在于代码漏洞检测任务中高质量标注数据的稀缺性——现有数据集常因自动化标注引入大量误报，导致模型学习到虚假关联。构建过程中，团队面临从海量开源仓库中精准筛选并人工验证漏洞样本的困难，需平衡漏洞类型覆盖度与样本代表性。此外，如何设计合理的训练-验证-测试划分以避免数据泄露，以及确保跨项目、跨语言的泛化能力，亦是PrimeVul持续面临的挑战，这直接关系到基于该数据集训练的模型在真实世界中的鲁棒性。

常用场景

经典使用场景

在软件安全与人工智能的交叉领域，PrimeVul数据集作为首个大规模、高质量、面向漏洞检测的微调数据集，专为大型语言模型（LLM）在代码安全分析任务中的参数高效微调而设计。其经典使用场景聚焦于利用Transformer架构的预训练语言模型，通过监督学习范式对函数级代码片段进行二分类或多分类漏洞判别，从而在代码审计、安全补丁生成等下游任务中实现高精度推理。数据集涵盖CWE类型的细粒度标注，支持从单一漏洞类型识别到跨类型泛化能力的全面评估，成为验证LLM在代码安全领域基础能力的标杆性基准。

衍生相关工作

PrimeVul的出现催生了一系列具有里程碑意义的学术工作：以CodeBERT、GraphCodeBERT为代表的预训练模型在PrimeVul上微调后，其漏洞检测F1分数较传统方法提升超过15%，相关成果发表于ICSE、NDSS等顶级会议；研究者基于PrimeVul设计了首个面向LLM的漏洞检测对抗攻击框架，揭示模型对输入扰动（如注释插入、变量重命名）的脆弱性，推动了鲁棒性增强算法的研发；同时，该数据集被用于构建漏洞修复的强化学习环境，如VulRepair模型通过PrimeVul生成的负样本与修复补丁对，实现了自动补丁生成准确率的突破。此外，跨语言漏洞检测的迁移学习研究亦以PrimeVul为桥梁，探索了Java与Python代码间安全知识的可迁移性。

数据集最近研究

最新研究方向

PrimeVul数据集作为面向大语言模型微调的高质量漏洞检测语料库，近期研究聚焦于利用其精细标注的漏洞类型与上下文信息，推动深度学习模型在软件安全领域的代码缺陷识别能力。该数据集通过整合多源漏洞库并实施严格的数据清洗与平衡策略，解决了传统漏洞数据集样本稀疏与标签噪声问题，成为评估先进模型（如CodeBERT、GraphCodeBERT）在跨项目漏洞预测中泛化性能的基准。当前热点方向包括结合预训练语言模型的上下文感知漏洞定位、基于对比学习的少样本漏洞分类，以及利用PrimeVul训练高效静态分析工具以应对零日漏洞检测挑战，其发布对提升自动化代码审计的鲁棒性与可解释性具有里程碑意义。