ProjectAnalyzer Code

ProjectAnalyzer Code是一个包含10个真实C#项目的数据集，这些项目涵盖了SQL注入、硬编码密码和过时依赖项等63个漏洞。数据集用于评估静态代码分析工具和大型语言模型在漏洞检测中的性能。数据集提供了一个开放的评估平台，适合基于规则的系统和生成系统，为下一代自动化代码安全研究奠定了基础。ProjectAnalyzer Code is a dataset comprising 10 real-world C# projects that collectively contain 63 vulnerabilities, including SQL injection, hard-coded passwords, outdated dependencies and other common security issues. This dataset is developed to evaluate the performance of static code analysis tools and large language models (LLMs) in vulnerability detection tasks. It offers an open evaluation platform compatible with both rule-based systems and generative systems, laying a solid foundation for next-generation automated code security research.

原始信息汇总

ProjectAnalyzer 数据集概述

数据集基本信息

• 数据集名称：ProjectAnalyzer
• 功能描述：用于分析项目并使用选定模型生成SARIF报告的工具

使用方式

bash ProjectAnalizer [--help] --model <model> --token <token> [--endpoint <endpoint>] [--output <output_file>]

参数说明

• --help：显示帮助信息
• --models, -m：指定用于分析的模型列表（必需）
• --token, -t：指定用于身份验证的令牌
• --url, -u：指定端点URL（可选，默认值：https://models.github.ai/inference）
• --output, -o：指定输出文件名（可选，默认值：output.sarif）
• --extensions, -e：指定要分析的文件扩展名（可选，默认值：cs,sln,slnx,csproj,json）
• --skip, -s：指定要跳过的目录（可选，默认值：bin,obj）

系统要求

• 必须安装.NET 9 SDK以构建解决方案

搜集汇总

数据集介绍

构建方式

ProjectAnalyzer Code数据集的构建基于10个真实的C#项目，这些项目嵌入了63个常见漏洞类别，如SQL注入、硬编码密钥和过时依赖项。研究团队精心筛选和标注了这些项目，确保每个漏洞都有对应的真实标签。通过开发ProjectAnalyzer工具，自动化处理源代码文件，生成统一的SARIF格式报告，为静态分析工具和大型语言模型提供了标准化的评估框架。

特点

该数据集的特点在于其多样性和真实性，涵盖了多个常见漏洞类别，且项目规模适中（3500至5500字符）。数据集不仅提供了漏洞的详细标注，还包含了静态分析工具和大型语言模型的性能对比数据。此外，数据集通过SARIF格式标准化输出，便于结果的可视化和比较，为研究者和开发者提供了丰富的参考信息。

使用方法

ProjectAnalyzer Code数据集的使用方法包括通过GitHub平台获取数据集和ProjectAnalyzer工具。用户可以利用该工具对C#项目进行静态分析，生成SARIF格式的报告。数据集适用于评估静态分析工具和大型语言模型在漏洞检测中的性能，用户可以根据需要调整分析参数或扩展数据集以涵盖更多漏洞类别。此外，数据集还可用于研究漏洞检测算法的改进和优化。

背景与挑战

背景概述

ProjectAnalyzer Code数据集由波兰弗罗茨瓦夫科技大学的Damian Gnieciak和Tomasz Szandala于2025年创建，旨在系统评估大型语言模型（LLMs）与传统静态代码分析工具在漏洞检测方面的性能差异。该数据集包含10个真实世界的C#项目，共嵌入了63个跨类别漏洞（如SQL注入、硬编码密钥等），通过对比六种自动化方法（包括SonarQube、CodeQL等静态分析工具和GPT-4.1等LLMs），揭示了LLMs在上下文推理和召回率上的优势。该研究为软件工程领域提供了首个标准化基准，推动了混合分析管道的实践应用。

当前挑战

该数据集面临的挑战主要体现在两方面：领域问题上，传统静态分析工具受限于预定义规则，难以识别新型或复杂漏洞，而LLMs虽具备上下文理解能力，却存在误报率高和定位精度不足的问题；构建过程中，需解决代码标记化导致的漏洞定位偏差、不同工具输出格式（如SARIF）的标准化整合，以及确保LLMs在生成分析结果时避免幻觉现象。此外，平衡检测敏感性与开发者验证成本也是核心挑战之一。

常用场景

经典使用场景

ProjectAnalyzer Code数据集在软件工程领域中被广泛用于评估静态代码分析工具与大型语言模型（LLMs）在漏洞检测方面的性能。该数据集通过精心设计的C#项目集合，嵌入多种常见漏洞类型（如SQL注入、硬编码密钥等），为研究者提供了一个标准化的基准测试平台。其经典使用场景包括比较不同工具的检测准确率（精确度、召回率、F1分数）以及分析延迟，从而为工具选择提供数据支持。

衍生相关工作

该数据集催生了多项关于AI增强型代码分析的研究，如混合检测框架的构建（结合LLMs的上下文理解与静态工具的规则确定性）、提示工程优化（提升LLMs定位精度）以及针对BPE分词误差的修复技术。相关成果发表在《Expert Systems with Applications》等期刊，并推动了GitHub Models平台对标准化评测工具链的集成。

数据集最近研究

最新研究方向

ProjectAnalyzer Code数据集的最新研究方向聚焦于大型语言模型（LLMs）与传统静态代码分析工具在漏洞检测领域的系统性对比。随着人工智能技术的迅猛发展，LLMs在代码理解与漏洞识别方面展现出前所未有的潜力。该数据集通过精心设计的实验框架，评估了包括SonarQube、CodeQL和Snyk Code在内的静态分析工具，以及GPT-4.1、Mistral Large和DeepSeek V3等前沿LLMs的性能表现。研究揭示了LLMs在召回率方面的显著优势，证实了其在跨文件数据流推理等复杂场景中的卓越能力。然而，LLMs的高误报率和定位精度不足等局限性也引发了学术界对混合分析管道的广泛探讨。这一研究为软件工程领域提供了宝贵的实证数据，推动了智能化代码审计工具的创新发展。

相关研究论文

• Large Language Models Versus Static Code Analysis Tools: A Systematic Benchmark for Vulnerability Detection

  波兰弗罗茨瓦夫工业大学信息与通信技术学院 · 2025年