JITVUL

JITVUL是一个针对代码仓库的实时漏洞检测基准，由南洋理工大学等机构创建。该数据集包含879个CVE条目，涵盖91种不同的漏洞类型，每个目标函数都与引入漏洞和修复漏洞的提交的配对相关联。JITVUL旨在为实时漏洞检测提供一种更实用的方法，通过分析漏洞引入和修复的提交，来全面评估检测能力。

JITVUL is a real-time vulnerability detection benchmark for code repositories, created by institutions such as Nanyang Technological University. This dataset contains 879 CVE entries, covering 91 distinct vulnerability types. Each target function is associated with a pair of commits: one that introduced the vulnerability and the other that fixed it. JITVUL aims to provide a more practical approach for real-time vulnerability detection, enabling comprehensive evaluation of detection capabilities by analyzing the commits that introduce and fix vulnerabilities.

搜集汇总

数据集介绍

构建方式

JITVUL数据集的构建过程涉及三个关键步骤：漏洞条目选择、目标函数提取和成对提交识别。首先，从PrimeVul数据集中随机选择了879个CVE条目，覆盖91个CWE类别。然后，从每个CVE的修复提交中提取目标函数及其易受攻击和修复版本。最后，通过分析每个易受攻击函数的提交历史，确定相应的漏洞引入提交。最终，JITVUL包含1,758个成对数据样本，覆盖91个CWE类别。

特点

JITVUL数据集的主要特点包括：1）每个目标函数都与漏洞引入和修复提交相链接，提供了丰富的上下文信息；2）涵盖了91个不同的CWE类别，具有广泛的漏洞类型；3）采用了成对评估方法，确保了评估的可靠性；4）具有可扩展性，适用于大规模代码库。

使用方法

JITVUL数据集的使用方法包括：1）选择合适的大型语言模型（LLM）或基于LLM的智能体进行漏洞检测；2）使用CoT、FS或CoT+FS等提示策略来增强LLM或智能体的推理能力；3）评估LLM或智能体在不同基础模型上的性能；4）通过成对评估方法来评估LLM或智能体的漏洞检测能力。

背景与挑战

背景概述

JITVUL数据集是在软件漏洞检测领域的一项重要进展，由来自新加坡南洋理工大学、新加坡科技研究局和复旦大学的研究人员共同创建。该数据集旨在解决现有漏洞检测数据集在现实世界应用中的局限性，如计算成本高昂、缺乏对漏洞修复的成对评估以及探索有限的上下文检索等问题。JITVUL数据集通过链接每个函数到其漏洞引入和修复的提交，为漏洞检测能力的全面评估提供了可能。该数据集涵盖了879个CVE，跨越91种漏洞类型，为研究人员提供了一个用于评估漏洞检测方法的有效工具。JITVUL的创建对于软件安全领域具有重要意义，它有助于推动漏洞检测技术的发展，并提高软件系统的安全性。

当前挑战

尽管JITVUL数据集为漏洞检测领域带来了重要的进展，但仍然面临一些挑战。首先，现有的漏洞检测方法在区分易受攻击的函数和已经修复的良性版本方面存在困难，这限制了机器学习方法的可靠性。其次，现有的数据集缺乏对成对评估的考虑，导致评估结果可能不够准确。此外，LLM和LLM-based agents在处理复杂的代码分析时，往往表现出不一致的分析模式，这给漏洞检测带来了挑战。为了克服这些挑战，未来的研究需要进一步改进agent架构、提示技术、动态的跨过程分析和针对漏洞分析的鲁棒推理模型。

常用场景

经典使用场景

JITVUL数据集是一个用于代码库中即时漏洞检测的基准，它通过将每个函数与其引入漏洞和修复漏洞的提交关联起来，为评估检测能力提供了全面的视角。在JITVUL中，研究人员可以探索大型语言模型（LLMs）和基于LLMs的代理在实际漏洞检测中的应用。该数据集的特点是，它要求对代码库中修改的函数进行检测，同时提供函数间的调用关系，以便更好地理解代码的上下文。JITVUL的主要使用场景包括评估LLMs和LLM-based agents在区分漏洞代码和良性代码方面的能力，以及研究各种提示策略对LLMs性能的影响。

实际应用

JITVUL数据集在实际应用场景中具有广泛的应用前景。它可以帮助软件安全研究人员和开发人员评估和改进现有的漏洞检测工具和方法，以提高其在实际代码库中的性能。此外，JITVUL还可以用于训练和评估新的漏洞检测模型，以应对不断变化的软件漏洞威胁。JITVUL的数据集结构和评估指标也为构建更精确和可靠的漏洞检测系统提供了重要的参考。因此，JITVUL在实际应用中具有重要的意义和影响。

衍生相关工作

JITVUL数据集的引入，为后续研究提供了重要的参考和启示。它促进了基于LLMs和LLM-based agents的漏洞检测技术的发展，并激发了研究人员对更精确和可靠的漏洞检测模型的探索。此外，JITVUL的数据集结构和评估指标也为构建更全面和实用的漏洞检测基准提供了重要的参考。因此，JITVUL衍生了大量的相关工作，并在漏洞检测领域产生了广泛的影响。