ScaBench Smart Contract Audit Benchmark Dataset

ScaBench提供了一个全面的智能合约审计基准测试框架，包含来自Code4rena、Cantina和Sherlock审计的精选真实世界漏洞数据集。数据集包含31个高质量项目，555个漏洞，其中114个为高/严重级别漏洞，总计330万行代码，Solidity代码26.7万行。数据来源于2024年8月至2025年8月的审计项目，经过严格筛选，确保项目具有可访问的GitHub仓库、每个项目至少5个漏洞、至少1个高/严重级别发现等质量标准。ScaBench provides a comprehensive smart contract audit benchmark framework, containing a curated real-world vulnerability dataset sourced from audits hosted on Code4rena, Cantina and Sherlock. The dataset includes 31 high-quality projects, 555 vulnerabilities in total, among which 114 are high or critical-severity vulnerabilities. The overall code volume reaches 3.3 million lines, with 267,000 lines of Solidity code. The data is collected from audit projects between August 2024 and August 2025, and has undergone strict screening to meet quality standards including accessible GitHub repositories for each project, no fewer than 5 vulnerabilities per project, and at least 1 high or critical-severity finding.

原始信息汇总

ScaBench 数据集概述

数据集基本信息

• 名称：ScaBench
• 全称：Smart Contract Audit Benchmark
• 用途：评估安全分析工具和AI代理在真实世界智能合约漏洞上的性能
• 数据来源：Code4rena、Cantina 和 Sherlock 审计平台

数据集内容

• 当前版本：curated-2025-08-18.json
• 时间范围：2024年8月至2025年8月
• 项目数量：31个高质量项目
• 漏洞总数：555个
• 高危/严重漏洞：114个
• 总代码行数：330万行
• Solidity代码行数：26.7万行

数据筛选标准

• 原始项目：269个
• 筛选条件：
  • 可访问的GitHub仓库
  • 每个项目至少5个漏洞
  • 至少1个高危/严重漏洞
  • 近期审计（2024-2025年）

支持的语言

• Solidity
• Rust
• Go
• TypeScript
• Move
• Cairo

数据集格式

• 格式：JSON
• 包含内容：
  • 项目元数据
  • 仓库URL
  • 提交哈希
  • 漏洞详细信息

相关工具

• 数据集生成器：用于创建新的数据集
• 基线运行器：基于LLM的安全分析器
• 评分工具：使用LLM匹配评估发现结果
• 报告生成器：生成带有可视化图表的HTML报告

数据集位置

https://github.com/muellerberndt/scabench/blob/main/datasets/curated-2025-08-18.json

搜集汇总

数据集介绍

构建方式

在智能合约安全分析领域，ScaBench通过系统化采集与筛选流程构建高质量基准数据集。该数据集源自Code4rena、Cantina和Sherlock等权威审计平台的真实漏洞报告，覆盖2024年至2025年间31个高质量项目的555个漏洞。构建过程采用多阶段筛选机制：首先通过爬虫工具抓取原始审计数据，随后应用严格的质量标准进行筛选，包括要求每个项目至少包含5个漏洞、至少存在1个高危或严重级别漏洞、GitHub仓库可访问性验证以及数据完整性检查，最终形成包含项目元数据、代码仓库链接、提交哈希和漏洞详情的标准化JSON格式数据集。

特点

ScaBench数据集的核心特征体现在其真实性与多样性。数据集囊括Solidity、Rust、Go、TypeScript、Move和Cairo等多种智能合约语言的漏洞样本，其中包含114个高危及以上级别漏洞，总代码量达330万行。所有漏洞均来自经过实际审计的生产级项目，确保了漏洞模式的真实性和攻击向量的有效性。数据集采用精细化标注体系，每个漏洞均包含精确的位置信息、严重等级、根因分析和影响描述，为评估安全分析工具提供了具有高度代表性和挑战性的基准环境。

使用方法

该数据集支持端到端的智能合约安全工具评估流程。用户可通过自动化脚本一键执行完整评估流水线：首先使用checkout_sources.py下载项目源码至指定提交版本，随后通过baseline-runner运行安全分析工具生成检测结果。评估阶段采用基于大语言模型的严格匹配算法，通过scorer.py工具将检测结果与数据集标注进行比对，仅当漏洞位置、根因、攻击向量和影响完全一致时计为真阳性。最终通过report_generator生成包含可视化指标和性能度量的HTML报告，支持模型性能的量化比较与分析。

背景与挑战

背景概述

智能合约安全审计领域随着区块链技术的普及而日益重要，ScaBench数据集由专业研究团队于2025年构建，旨在为安全分析工具和人工智能代理提供真实漏洞的基准评估框架。该数据集整合了Code4rena、Cantina和Sherlock等知名审计平台的31个高质量项目，涵盖555个经过严格筛选的漏洞案例，特别聚焦于高严重性漏洞的识别与验证。其多语言支持特性覆盖Solidity、Rust等主流智能合约语言，为学术界和工业界提供了标准化评估体系，显著推动了智能合约安全分析技术的量化研究进程。

当前挑战

该数据集核心挑战在于解决智能合约漏洞检测的准确性与泛化能力问题，需应对不同编程范式与漏洞模式的复杂性。构建过程中面临多重技术难题：原始审计数据的异构性要求设计统一的结构化转换流程；漏洞标注需要专家级人工验证以确保标注一致性；项目筛选需平衡代码可访问性、漏洞数量与严重级别等多维度质量指标。此外，跨平台数据采集还需处理不同审计报告格式的解析与标准化，以及确保源代码版本与审计时点的精确匹配。

常用场景

经典使用场景

在智能合约安全分析领域，ScaBench数据集为评估自动化审计工具的性能提供了标准化基准。研究人员通过该数据集能够系统性地测试各类静态分析工具和人工智能代理在真实漏洞场景下的检测能力，特别是在重入攻击、权限控制缺陷等常见安全威胁方面的表现。数据集涵盖多平台审计报告中的高质量漏洞样本，支持对工具精度、召回率等关键指标进行量化评估。

衍生相关工作

基于ScaBench数据集衍生出多项重要研究成果，包括基于大语言模型的智能合约漏洞检测系统、多模态安全分析框架等。这些工作不仅验证了数据集的学术价值，还推动了自动化审计技术从规则匹配向语义理解演进。部分研究团队进一步扩展了数据集的覆盖范围，形成了针对新型区块链平台和编程语言的安全基准测试体系。

数据集最近研究

最新研究方向

在智能合约安全审计领域，ScaBench数据集正推动基于大语言模型的自动化漏洞检测技术迈向新高度。该数据集整合了Code4rena、Cantina和Sherlock等主流审计平台的真实漏洞案例，涵盖Solidity、Rust等多语言环境，为评估AI代理的检测能力提供了标准化基准。当前研究聚焦于提升大模型在复杂代码语境下的精确匹配能力，特别是采用GPT-5-mini等先进模型实现高置信度的漏洞识别。通过严格的匹配策略和自动化评估流程，该数据集正成为衡量智能合约安全分析工具性能的重要标尺，推动着区块链安全生态的系统化发展。