ExploitGym

ExploitGym是一个基于真实世界漏洞构建的大规模、现实基准测试，涵盖用户空间程序、Google的V8引擎和Linux内核，旨在评估AI代理开发漏洞利用的能力。ExploitGym is a large-scale, real-world benchmark built using real-world vulnerabilities, covering user-space programs, Google's V8 engine, and the Linux kernel. It is designed to evaluate the capabilities of AI Agents in developing vulnerability exploits.

原始信息汇总

数据集概述

ExploitGym 是一个大规模、真实的基准测试平台，旨在评估AI代理利用真实世界安全漏洞开发攻击程序的能力。该基准测试包含来自用户空间程序、Google V8引擎以及Linux内核的多种真实漏洞场景。

数据集规模与版本

• 当前版本为 v1.0，包含 869个任务实例。
• 标准任务列表位于 data/task_ids/v1.txt。
• 基准测试正在积极维护中，完整版本历史记录在 CHANGELOG.md 文件中。

快速开始

1. 安装Python依赖：使用 uv sync --extra proxy。
2. 构建运行时工件：运行 bash scripts/setup/setup_data.sh（包括gdb、socat、nc、node及代理CLI）。
3. 验证安装：运行 bash scripts/setup/validate.sh。
4. 拉取防火墙Docker镜像：执行 docker pull ubuntu/squid:latest。
5. 拉取任务Docker镜像：运行 uv run scripts/setup/pull_images.py data/task_ids/sample.txt。
6. 启动控制器、防火墙和LLM代理：运行 uv run scripts/setup/pre_run.py data/task_ids/sample.txt（需设置 OPENAI_API_KEY 和 ANTHROPIC_API_KEY 环境变量）。
7. 运行代理：设置 CYBERGYM_ADMIN_KEY 后，运行 uv run examples/run_agent.py --help。

文档资源

• 设置指南：涵盖Python依赖、GDB、socat/nc、node及代理CLI的安装与配置。
• Docker镜像：介绍如何为不同任务族拉取目标镜像。
• 评估指南：详解控制器、防火墙、LLM代理的启动及运行示例脚本。
• 防御机制：说明如何禁用系统防御（如ASLR）。
• 防火墙：提供代理容器的出站网络隔离方案。

许可协议

• 源代码采用 Apache-2.0 许可证。
• 任务数据（data/tasks/）源自外部上游项目，保留其各自的许可证，详情见 DATA_LICENSE.md。

引用

若在研究中使用了ExploitGym，请引用以下论文：

• 论文标题：ExploitGym: Can AI Agents Turn Security Vulnerabilities into Real Attacks?
• arXiv编号：2605.11086

搜集汇总

数据集介绍

构建方式

在现实世界中，软件漏洞的利用是网络安全领域的核心挑战。为系统性地评估人工智能代理在真实攻防场景中的能力，ExploitGym应运而生。该数据集从用户态程序、Google V8引擎及Linux内核中筛选出历史上真实存在的安全漏洞，涵盖多种攻击类型与复杂度，构建了一个大规模、高保真的漏洞利用基准测试平台。其构建过程包括提取漏洞详情、编译可复现的靶标环境，并通过Docker容器化技术封装为独立的评估实例。目前v1.0版本已收录869个精心设计的任务，每个任务均对应一个特定的安全漏洞。

特点

ExploitGym最显著的特色在于其高度的真实性与多样性。它不仅覆盖了用户态、浏览器引擎及操作系统内核三个层面的安全漏洞，还通过精细的防御状态控制（如ASLR开关）模拟不同的攻击场景。所有任务均源自现实世界的安全补丁与公开漏洞库，确保评估结果的实践参考价值。此外，该基准测试内置了防火墙隔离、流量代理与控制器调度机制，能够安全地隔离代理的操作行为，防止对环境造成连带损害，同时提供标准化的评分与结果记录接口。

使用方法

使用ExploitGym通常需要经历环境准备、镜像拉取与代理运行三个阶段。首先通过Python依赖管理工具（如uv）安装必要的软件包，并编译GDB、socat等运行时组件。接着利用预置脚本批量拉取对应任务的Docker镜像。运行前需启动控制器、防火墙及LLM代理服务器，并通过环境变量配置OpenAI或Anthropic提供的API密钥。最终，用户可调用官方示例脚本启动一个智能代理，自动连接到指定漏洞任务并尝试完成利用。整个过程高度自动化，支持任务列表的分批执行与结果的动态记录。

背景与挑战

背景概述

ExploitGym数据集诞生于2026年，由Zhun Wang、Nico Schiller等来自Google、亚利桑那州立大学、浙江大学、亥姆霍兹信息安全中心等多所顶尖机构的研究人员联合构建。该数据集聚焦于评估人工智能代理从真实世界漏洞中自主生成利用程序的能力，覆盖用户态程序、Google V8引擎及Linux内核等复杂系统。其核心研究问题在于探索AI在网络安全攻防场景中的实际效能，特别是能否将安全漏洞转化为可执行的攻击。作为大规模、高现实性的基准测试，ExploitGym填补了现有AI安全评估缺乏真实攻防场景的空白，为自动化漏洞利用研究提供了标准化的评测平台，对推动人工智能与网络安全交叉领域的发展具有里程碑式的影响力。

当前挑战

ExploitGym所面临的挑战多维而深刻。首先，在领域问题层面，现有AI代理在安全评估中常被理想化场景所局限，难以应对真实漏洞利用的复杂性和多样性，即从漏洞发现到生成稳定攻击载荷的完整链条缺乏有效的自动化解决方案。其次，构建过程中的挑战尤为棘手：数据集需从数百个真实漏洞实例中提取并标准化，涉及不同系统架构的差异、环境依赖的兼容性以及动态利用条件的模拟；同时，确保评估的公平性与安全性，需设计精巧的防火墙隔离机制（如Squid容器）和防御控制（如ASLR开关），以平衡AI探索的自由度与测试环境的可控性。这些难题共同制约着ExploitGym在推动自主漏洞利用技术中的实际应用与扩展。

常用场景

经典使用场景

在人工智能与网络安全交叉领域，ExploitGym脱颖而出，作为一个大规模、高逼真度的基准测试平台，其核心应用场景在于系统性评估AI代理（Agent）的漏洞利用能力。研究人员能够借助该基准，将前沿的AI模型（如大型语言模型）置于由真实世界漏洞构成的任务环境中，观察其如何自主完成从漏洞发现、分析到编写与执行利用代码（Exploit）的完整攻击链条。这一过程涵盖了用户态程序、Google V8引擎乃至Linux内核等不同层次的安全挑战，为衡量智能体在复杂、动态的攻防博弈中的推理与决策水平提供了标准化且极具挑战的试验场。

解决学术问题

面向学术界对AI驱动网络攻击能力量化的迫切需求，ExploitGym填补了一项关键空白：它解决了长期以来缺乏一个规模庞大、由真实漏洞驱动且覆盖多维度目标的基准来客观评测AI威胁程度的问题。在以往，大多数研究依赖于合成漏洞或简化环境，难以真实反映AI在现实攻防中的潜力与局限。ExploitGym通过涵盖869个真实漏洞实例，为研究者提供了严谨的统计基础，以探究当前AI模型（特别是LLM）在自动化漏洞利用链中的表现瓶颈、知识边界与安全隐患，从而推动该领域的研究从定性讨论走向定量分析。其意义在于，它不仅揭示AI能力的演化路径，更提前预警了新技术可能带来的安全风险，为后续防御策略与AI安全对齐研究指明了方向。

衍生相关工作

ExploitGym的诞生激励了一系列衍生与关联研究工作。在基准层面，研究者可能以其为蓝本，扩展出针对特定领域（如物联网设备嵌入式系统或云原生微服务）的专项漏洞利用基准。在方法学层面，该基准催生了可解释性研究，致力于揭示AI代理在编写利用代码时关注的特征模式与失败原因。此外，基于ExploitGym的任务复杂性，自动化的漏洞利用代码生成与优化技术也获得新的评估标准，促使学者们在提示工程、工具学习、多步推理等方面进行针对性改进。同时，其公开的数据集与可复现的实验框架也为比较不同AI架构（如独立LLM vs. 智能体系统）在网络安全任务上的效能提供了基石，形成了围绕评估方法论、对抗训练与安全对齐的活跃研究生态。