CWE-Bench-Java

CWE-Bench-Java是一个手动验证的数据集，用于检测Java项目中的安全漏洞。该数据集包含120个CVE，涵盖4种CWE类型，每个CVE包括有问题的和修复后的源代码，以及修复文件和函数的信息。数据集提供了项目信息、构建信息、修复信息等CSV文件，以及相关的补丁和安全公告信息。

CWE-Bench-Java is a manually validated dataset for detecting security vulnerabilities in Java projects. This dataset contains 120 CVE entries covering 4 CWE categories, where each CVE entry includes both the vulnerable and fixed source code, as well as information about the repaired files and functions. The dataset provides CSV files containing project information, build information, fix-related information and other relevant content, along with associated patches and security advisory information.

原始信息汇总

CWE-Bench-Java 数据集概述

数据集简介

CWE-Bench-Java 数据集包含 120 个 CVE，涵盖 4 种 CWE（路径遍历、OS 命令注入、跨站脚本和代码注入）。每个 CVE 包含项目的有缺陷和修复后的源代码，以及修复文件和函数的信息。

项目标识

每个项目通过 Project Slug 唯一标识，包含仓库名称、CVE ID 和项目缺陷版本的标签。例如：

DSpace__DSpace_CVE-2016-10726_4.4 ^^^^^^ ^^^^^^ ^^^^^^^^^^^^^^ ^^^ | | | |--> 版本标签 | | |--> CVE ID | |--> 仓库名称 |--> Github 用户名

数据包内容

数据集包含以下文件和目录：

• data/
  • project_info.csv
  • build_info.csv
  • fix_info.csv
• patches/<project_slug>.patch
• advisory/<project_slug>.json

Project Info

data/project_info.csv 文件包含每个项目的详细信息，字段如下：

• id: 项目编号（1 到 120）
• project_slug: 项目唯一标识
• cve_id: CVE 标识符
• cwe_id: CWE 标识符（CWE-022, CWE-078, CWE-079, CWE-094）
• cwe_name: CWE 名称
• github_username: Github 用户名
• github_repository_name: Github 仓库名称
• github_tag: 版本标签
• github_url: Github 仓库 URL
• advisory_id: Github 安全公告数据库中的公告 ID
• buggy_commit_id: 缺陷提交的哈希值
• fix_commit_ids: 修复提交的哈希值集合（按顺序排列，用分号分隔）

Fix Info

data/fix_info.csv 文件包含每个 CVE 修复的 Java 方法和类，字段如下：

• project_slug: 项目唯一标识
• cve_id: CVE 标识符
• github_username: Github 用户名
• github_repository_name: Github 仓库名称
• commit: 包含修复的提交哈希值
• file: 修复的 .java 文件
• class: 修复的类名
• class_start, class_end: 类的起始和结束行号
• method: 修复的方法名
• method_start, method_end: 方法的起始和结束行号
• signature: 方法签名（可能包含多个重载方法）

获取和构建项目

提供脚本用于获取、打补丁和构建项目。需要 Linux x64 系统，并确保有足够的存储空间。脚本需要 git, wget, python3 和 Java 开发工具（如 Maven 和 Gradle）。

构建信息

构建信息存储在 build-info 目录中，每个文件是一个 .json 文件，包含使用的 Java 版本和 Maven/Gradle 版本，例如： json {"jdk": "8u202", "mvn": "3.5.0"}

仅获取不构建

如果不想构建项目，可以运行以下命令： bash $ python3 scripts/setup.py --no-build

选择性获取/构建

可以使用以下参数选择要构建的项目： bash $ python3 scripts/setup.py --cwe CWE-022 CWE-078 # 仅构建 CWE-022 和 CWE-078 的项目 $ python3 scripts/setup.py --filter keycloak # 仅构建 keycloak 项目 $ python3 scripts/setup.py --exclude apache # 不构建任何 apache 相关项目

搜集汇总

数据集介绍

构建方式

CWE-Bench-Java数据集的构建基于对120个CVE（Common Vulnerabilities and Exposures）的深入分析，涵盖了四种常见的CWE（Common Weakness Enumeration）类型，包括路径遍历、操作系统命令注入、跨站脚本和代码注入。每个CVE实例均包含项目的有缺陷和修复后的源代码，以及修复文件和函数的详细信息。数据集的构建过程包括从GitHub获取项目、应用补丁以及构建项目，确保了数据的完整性和可复现性。

特点

CWE-Bench-Java数据集的显著特点在于其全面性和精细度。该数据集不仅包含了120个CVE的详细信息，还提供了每个项目的唯一标识符（Project Slug），确保了数据的高可追溯性。此外，数据集还提供了构建和修复信息，包括修复的Java方法和类，以及相关的构建脚本，使得研究人员和开发者能够方便地复现和验证漏洞修复过程。

使用方法

使用CWE-Bench-Java数据集时，用户可以通过提供的脚本自动获取、打补丁并构建项目。首先，用户需要准备相应的JDK、Maven和Gradle版本，并运行`setup.py`脚本以完成项目的获取和构建。对于不需要构建的用户，可以选择仅获取项目源码。此外，用户还可以通过指定CWE类型、项目名称或排除特定项目来定制获取和构建过程，以满足不同的研究或开发需求。

背景与挑战

背景概述

CWE-Bench-Java数据集是由Ziyang Li、Saikat Dutta和Mayur Naik等研究人员于2024年创建的，旨在支持大型语言模型辅助的静态分析，以检测Java代码中的安全漏洞。该数据集包含了120个CVE（Common Vulnerabilities and Exposures），涵盖了路径遍历、操作系统命令注入、跨站脚本和代码注入等四种常见的CWE（Common Weakness Enumeration）类型。每个CVE都包括了存在漏洞和修复后的源代码，以及修复文件和函数的相关信息。CWE-Bench-Java不仅提供了种子信息和获取、修补、构建项目的脚本，还详细记录了每个项目的唯一标识符、CVE ID、CWE ID、GitHub用户名、仓库名称、标签、URL、漏洞提交ID和修复提交ID等关键信息。该数据集的创建对提升Java代码安全分析的自动化和精确性具有重要意义。

当前挑战

CWE-Bench-Java数据集在构建过程中面临多重挑战。首先，收集和整理120个CVE的详细信息，包括漏洞和修复的源代码，需要对大量开源项目进行深入分析和验证。其次，确保每个项目的唯一标识符（Project Slug）的准确性和一致性，以便于后续的分析和处理。此外，提供脚本来自动获取、修补和构建项目，确保在不同环境下的可重复性和稳定性，也是一个技术难题。最后，由于涉及多种JDK、Maven和Gradle版本的管理和兼容性问题，构建过程的自动化和成功率提升也是一大挑战。这些挑战不仅涉及技术实现，还要求对Java安全漏洞的深刻理解和实践经验。

常用场景

经典使用场景

CWE-Bench-Java数据集在软件安全领域中被广泛用于静态分析工具的开发与评估。其经典使用场景包括但不限于：通过对比包含漏洞的源代码与修复后的版本，研究人员可以训练和验证自动化漏洞检测模型，从而提升静态分析工具的准确性和效率。此外，该数据集还支持对不同类型的安全漏洞进行分类和识别，为开发更智能的安全防护系统提供了坚实的基础。

实际应用

在实际应用中，CWE-Bench-Java数据集被广泛用于企业和开发团队的代码审查和安全测试。通过使用该数据集，开发人员可以快速识别和修复潜在的安全漏洞，从而提高软件的整体安全性。此外，安全工具供应商也利用该数据集来验证和优化其产品的漏洞检测能力，确保其工具在实际应用中的有效性。

衍生相关工作

CWE-Bench-Java数据集的发布催生了多项相关研究工作，包括但不限于：基于该数据集的静态分析工具的改进、漏洞检测算法的优化以及自动化修复技术的探索。这些工作不仅提升了现有工具的性能，还推动了新的研究方向，如结合机器学习和深度学习技术来进一步提高漏洞检测的准确性和效率。