Ethereum Vulnerability Benchmark Corpus

该仓库包含一个裁剪过的、可复现的基准数据集，用于评估审计代理是否能够仅从源代码上下文中重新发现历史上的以太坊协议和客户端漏洞。当前数据集包含Fusaka基准，布局设计允许在不改变每个基准结构的情况下添加未来的Dencun和Pectra基准。数据集包括benchmarks/目录（包含基准输入）、results/目录（包含真实问题描述）等，涵盖14个Fusaka基准，涉及共识规范、执行规范、Nimbus、Lighthouse等多个项目。

This repository houses a curated, reproducible benchmark dataset designed to evaluate whether audit agents can rediscover historically documented Ethereum protocol and client vulnerabilities using only source code context. The current dataset features the Fusaka benchmark suite, with its layout engineered to support future additions of Dencun and Pectra benchmarks without altering the structure of any existing benchmarks. The dataset includes a benchmarks/ directory (containing benchmark inputs), a results/ directory (containing ground-truth problem descriptions), and other relevant assets. It encompasses 14 Fusaka benchmarks spanning multiple projects including consensus specifications, execution specifications, Nimbus, Lighthouse, and others.

原始信息汇总

数据集概述

该数据集是一个用于评估审计代理（audit agents）能否仅凭源代码上下文重新发现以太坊历史协议及客户端漏洞的可复现基准测试集合。

当前内容

• Fusaka 基准测试：当前版本包含 14 个针对 Fusaka 分支的基准测试。
• 覆盖项目：测试涵盖共识规范（consensus-spec）、执行规范（execution-spec）、Nimbus、Lighthouse、Prysm、Grandine、Lodestar、Reth、Nethermind、c-kzg-4844 和 rust-eth-kzg 等项目。

标识规则

每个漏洞拥有稳定的人类可读基准 ID，格式如下：

<Fork>-<project>-<sequence>

示例：

• Fusaka-nimbus-1
• Fusaka-lighthouse-2
• Fusaka-grandine-1

基准文件夹以此 ID 命名，原始 issue 编号保留在 SCOPE.md、benchmarks/MANIFEST.md 和 results/issue-XXX.md 中，保证可追溯至公开问题报告。

仓库结构

. ├── benchmarks/ # 基准测试输入文件夹 │ ├── README.md │ ├── MANIFEST.md # 当前所有基准的清单 │ └── Fusaka-nimbus-3/ # 单个基准文件夹示例 │ ├── SCOPE.md # 任务描述 │ └── code/ # 目标代码（裁剪自上游仓库） │ └── nimbus-eth2/ ├── results/ # 真实漏洞报告（不可泄露给模型） │ ├── README.md │ └── issue-216.md ├── docs/ # 格式、贡献与评估指南 │ ├── ADDING_BENCHMARKS.md │ ├── BENCHMARK_FORMAT.md │ └── EVALUATION.md ├── awarded_issues_markdown/ # 构建真实报告的源 ├── build_benchmarks.py # 构建基准文件夹的汇编脚本 └── benchmarks_README.md

运行基准测试

1. 从 benchmarks/ 中精确选择一个基准文件夹。
2. 仅将该文件夹提供给审计代理。
3. 使用该文件夹内的 SCOPE.md 作为任务描述。
4. 在基准文件夹外部收集代理的报告（例如，存入本地忽略的 benchmark-runs/ 目录）。
5. 运行完成后，将报告与 results/ 中对应的文件进行比较。

原则：基准测试旨在衡量漏洞发现能力，而非模型搜索已知 issue 的能力。

未来扩展

计划为 Dencun 和 Pectra 分支添加基准测试，新实现的结构保持不变：

• Dencun-geth-1
• Dencun-lighthouse-1
• Pectra-reth-1
• Pectra-teku-1

许可与归属

基准测试包含来自上游开源项目的裁剪文件。每个裁剪代码路径需保留其 COMMIT_INFO.md 文件，并保持上游版权和许可声明。公开发布前需选择与上游代码和基准元数据用途兼容的仓库级许可证。

搜集汇总

数据集介绍

构建方式

以太坊漏洞基准语料库（Ethereum Vulnerability Benchmark Corpus）的构建源于对历史以太坊协议和客户端漏洞的系统性回溯。通过从上游开源仓库中精准裁剪与具体漏洞相关的源代码片段，并结合原始提交记录，该语料库将每个漏洞封装为独立的基准测试项。每个基准测试包含一个唯一的标识符，例如“Fusaka-nimbus-3”，并遵循严格的隔离规则，确保评估时只提供单个文件夹，从而还原智能审计代理在真实场景下的代码审计挑战。构建过程依赖于脚本“build_benchmarks.py”来标准化裁剪流程，并配套“SCOPE.md”明确任务描述，同时将真实问题报告保存在“results/”目录中，以支持后续的自动化评估与对比分析。

特点

该数据集的核心特色在于其精心设计的基准隔离机制与模块化扩展能力。每个基准测试被严格限制在单一文件夹内，杜绝了上下文泄露的风险，从而精确衡量审计代理对漏洞的发现能力而非信息检索能力。当前语料库专注于Fusaka分叉，涵盖14个基准测试，涉及共识规范、执行规范以及Nimbus、Lighthouse等多个客户端项目，展现了多样化的漏洞类型与代码变体。此外，数据集的目录结构支持未来无缝添加Dencun和Pectra分叉的基准，通过统一的标识符命名规则与文档化的添加指南，确保了语料库的持续演进与跨版本可比性。

使用方法

使用该数据集时，研究者需从“benchmarks/”目录中精确选取一个基准文件夹，例如“Fusaka-nimbus-3”，并将其作为唯一上下文提供给审计代理。代理应依据文件夹内的“SCOPE.md”作为任务描述，进行代码审计并输出报告。生成的报告应独立存储于自定义目录中，如“benchmark-runs/”，待评估完成后，再与“results/”中对应的真实问题报告进行比对，以验证漏洞发现能力。此过程严格禁止将“results/”、“awarded_issues_markdown/”或其他基准文件夹混入模型上下文，从而确保评估的公正性与结果的可靠性，真实反映模型在孤立代码环境中的漏洞挖掘表现。

背景与挑战

背景概述

以太坊作为分布式账本技术的先驱，其协议与客户端代码的复杂性日益增长，漏洞的潜在危害不可忽视。2024年，由以太坊基金会及社区研究人员共同构建的以太坊漏洞基准语料库（Ethereum Vulnerability Benchmark Corpus）应运而生。该数据集旨在为审计代理提供标准化评估框架，通过从源代码上下文中复现历史以太坊协议与客户端漏洞，检验基于AI的审计工具的性能。核心研究问题聚焦于如何量化自动审计系统对真实世界以太坊漏洞的发现能力，从而推动智能合约与核心节点安全性的提升。该语料库现包含14个Fusaka分叉的基准测试，覆盖共识规范、执行规范及多个主流客户端如Nimbus、Lighthouse、Prysm等，对区块链安全审计领域的研究与工具开发具有显著影响力。

当前挑战

语料库所解决的领域挑战在于，当前以太坊生态中安全审计高度依赖人工专家，效率与可扩展性不足，且缺乏统一的自动化评估基准。具体而言，构建过程中面临多重难题：首先，需从庞大且不断演进的以太坊代码库中精准裁剪出独立且可复现的漏洞代码片段，同时屏蔽可能泄露答案的上下文信息，如结果文件夹或仓库级清单。其次，要确保每个基准测试的隔离性，避免模型通过非漏洞线索推断答案，这对数据集的结构设计提出了严格规则——审计代理仅能访问单个基准文件夹。此外，保持基准测试的追溯性，将原始公开问题编号嵌入SCOPE.md与结果文件中，要求对上游开源项目的提交历史、版权声明进行细致整合与合规性处理，增加了构建的复杂性。

常用场景

经典使用场景

在区块链安全研究领域，Ethereum Vulnerability Benchmark Corpus（以太坊漏洞基准语料库）主要用于评估和验证智能合约审计智能体（audit agents）在仅有源代码上下文的情况下，能否独立重现历史上真实存在的以太坊协议与客户端漏洞。研究者通过向模型提供单一日志文件夹（如Fusaka-nimbus-3），并依据SCOPE.md描述的任务，衡量其发现特定漏洞的能力。该语料库设计了严格的隔离规则，避免结果文件泄露答案，从而确保评估的客观性和可重复性。

衍生相关工作

该语料库的发布直接催生了多项围绕智能合约安全自动化审计的衍生研究，例如基于其基准设计的新型AI审计评测框架、针对不同大语言模型（如GPT-4、Claude等）在准确率和假阳性率上的对比实验，以及如何利用语料库中的真实漏洞写作文档（results/）训练更强健的漏洞分类器或生成对抗式例。此外，其标准化目录结构和文档规范（如BENCHMARK_FORMAT.md）激发了社区贡献机制，引导后续研究者参照同一模板为其他区块链系统（如Solana、Cosmos）构建类似的跨项目脆弱性基准库，推动了整个区块链安全评测领域的生态繁荣。

数据集最近研究

最新研究方向

该数据集聚焦于以太坊协议和客户端历史漏洞的复现与评估，是智能合约安全审计前沿研究的重要基石。随着以太坊Fusaka升级临近，协议复杂度与攻击面同步增长，传统审计工具难以覆盖累积的深层漏洞。EVBC通过提供14个精心裁剪的基准测试，覆盖共识层、执行层及多客户端（如Nimbus、Lighthouse）的已知漏洞，为自动化审计代理的发现能力提供了可复现的标准化评估框架。当前研究方向正从单一漏洞检测向多分叉（Dencun、Pectra）的跨版本安全验证演进，强调代码上下文隔离与结果可比性，这对弥合形式化验证与实战审计之间的鸿沟具有关键意义，直接推动以太坊生态在L1升级中的安全韧性提升。