Synthetic Dataset for Code Vulnerability Flaws

本研究提出了一个合成数据集，用于代码漏洞缺陷的代码审查。该数据集由Pontificia Universidad Católica de Chile的研究团队创建，旨在通过利用大型语言模型（LLMs）生成类似人类的代码审查评论，以解决现有数据集中安全相关审查样本不足的问题。数据集的内容基于安全漏洞相关的提交，包括提交的差异和相应的提交消息。研究团队计划使用这个合成数据集来微调现有的代码审查模型，并预期这将提高模型的性能。This study proposes a synthetic dataset for code review focused on code vulnerability defects. Developed by the research team at Pontificia Universidad Católica de Chile, this dataset aims to address the shortage of security-related review samples in existing datasets by leveraging large language models (LLMs) to generate human-like code review comments. The dataset's content is based on security vulnerability-related commits, including commit diffs and their corresponding commit messages. The research team plans to use this synthetic dataset to fine-tune existing code review models, and expects that this will improve the models' performance.

搜集汇总

数据集介绍

构建方式

在软件工程领域，自动化代码审查已成为提升开发效率的关键技术，然而现有数据集在安全漏洞审查方面存在显著不足。本研究通过大型语言模型（LLMs）创新性地构建了针对代码漏洞的合成数据集，具体方法包括：从GitHub精选Java项目库，筛选涉及单文件修改的安全相关提交，并基于代码差异和提交消息，采用零样本、思维链（CoT）和自我反思三种提示策略，生成拟真的代码审查评论。

特点

该数据集的核心价值在于其专注于代码安全漏洞的审查场景，填补了现有数据集中安全相关样本稀少的空白。其独特之处体现在：严格筛选基于真实漏洞修复的提交，确保数据相关性；采用多LLM模型比较优化生成质量；通过双重人工评估保障评论的准确性与实用性。相较于通用代码审查数据集，本数据集在安全漏洞审查的专精度上具有显著优势，为训练针对性更强的AI模型提供了高质量数据基础。

使用方法

该数据集主要应用于提升自动化代码审查模型在安全漏洞识别方面的性能。研究人员可采用迁移学习方式，利用该数据集对现有代码审查模型（如CodeReviewer）进行微调。具体流程包括：加载预训练模型权重，以合成数据作为补充训练集，采用BLEU-4和人工评估双指标验证模型改进效果。该数据集特别适用于需要增强安全审查能力的开发环境，可作为基准数据集用于评估模型在漏洞检测任务上的表现。

背景与挑战

背景概述

Synthetic Dataset for Code Vulnerability Flaws数据集由智利天主教大学的研究团队于2025年提出，旨在解决软件工程领域自动化代码审查中的安全漏洞检测难题。该数据集创新性地利用大语言模型生成模拟人类审阅风格的漏洞代码评论，填补了现有代码审查数据集中安全相关样本不足的空白。作为首个专注于代码漏洞的合成数据集，其构建方法为提升AI模型在安全关键代码识别方面的性能提供了新范式，对推动自动化代码审查技术发展具有重要意义。

当前挑战

该数据集面临双重挑战：在领域问题层面，现有代码审查模型对安全漏洞的识别准确率不足25%，主要由于真实数据中安全相关评论占比低于4%；在构建过程中，需解决大语言模型生成评论的语义准确性验证难题，包括确保生成内容与漏洞修复意图的一致性、评论建议的可操作性，以及人工评估过程中存在的主观性偏差问题。此外，Java语言的项目筛选标准与跨语言泛化能力之间的平衡也构成重要技术挑战。

常用场景

经典使用场景

在软件工程领域，自动化代码审查已成为提高开发效率和代码质量的关键技术。Synthetic Dataset for Code Vulnerability Flaws数据集通过生成针对代码漏洞的合成审查评论，为训练AI模型提供了丰富的安全相关数据。该数据集特别适用于模拟真实场景中的安全审查过程，帮助模型学习如何识别和评论潜在的代码漏洞，从而弥补现有数据集中安全相关评论的不足。

实际应用

在实际应用中，该数据集可用于增强代码审查工具的性能，特别是在识别安全漏洞方面。开发团队可以利用基于该数据集训练的模型，自动检测代码中的潜在漏洞，并提供有针对性的改进建议。这不仅提高了代码的安全性，还显著减少了人工审查的工作量，适用于各类软件开发项目，尤其是对安全性要求较高的系统。

衍生相关工作

该数据集的推出催生了一系列相关研究，如基于LLMs的代码审查模型优化和安全漏洞检测技术的改进。例如，CodeReviewer等模型通过在该数据集上的微调，显著提升了生成安全相关评论的准确性。此外，该数据集还为研究如何利用合成数据增强模型性能提供了新的思路，推动了自动化代码审查领域的创新。