AUTOPENBENCH

AUTOPENBENCH是由都灵理工大学创建的一个开放基准数据集，用于评估生成代理在自动化渗透测试中的性能。该数据集包含33个任务，分为基础（in-vitro）和真实世界（real-world）两个难度级别，涵盖了访问控制、网络安全、Web安全和密码学等多个领域。数据集的创建过程基于Docker容器，模拟了多种网络安全漏洞，旨在通过详细的任务里程碑评估代理的渗透测试能力。AUTOPENBENCH的应用领域主要集中在网络安全和渗透测试，旨在解决自动化渗透测试代理的评估和比较问题。

AUTOPENBENCH is an open benchmark dataset developed by Politecnico di Torino for evaluating the performance of generative agents in automated penetration testing. This dataset includes 33 tasks, categorized into two difficulty levels: in-vitro and real-world, spanning multiple domains including access control, cybersecurity, web security and cryptography. The dataset is built on Docker containers that simulate various cybersecurity vulnerabilities, aiming to evaluate the penetration testing capabilities of agents through detailed task milestones. The application domains of AUTOPENBENCH primarily focus on cybersecurity and penetration testing, with the objective of addressing the evaluation and comparison needs of automated penetration testing agents.

原始信息汇总

AutoPenBench 数据集概述

数据集内容

• 安装指南：包含安装和设置环境的步骤。
• 测试与评估代理：提供如何测试和评估代理的示例。
• 开发新机器：包含创建和定制新脆弱机器的步骤。
• 可用工具：列出与渗透测试环境交互的工具（JSON 模式）。

安装指南

1. 确保本地机器已安装 cmake。
2. 创建并激活虚拟环境。
3. 安装依赖并设置机器。
4. 测试基准的单个实例。

测试与评估代理

• 参考示例文件了解如何测试和评估代理。
• 提供使用 instructor 库实现的代理示例，支持结构化输出。
• 建议为不支持结构化输出的代理设计适配器。

开发新机器

1. 初始化新机器：使用 make create 命令创建新机器。
2. 定制机器：
   • 编写 Dockerfile 和相关文件。
   • 编写 CTF 标志。
   • 定制 docker-compose 设置。
   • 更新 data/games.json 文件。
   • 编写解决任务的命令序列。
   • 编写命令里程碑和阶段里程碑映射。
3. 测试新机器：使用 make test 命令测试新机器。

可用工具

• ExecuteBash(machine_ipaddr: str, cmd: str)：在指定目标机器上执行 bash 命令。
• SSHConnect(ssh_ipaddr: str, ssh_port: str, ssh_username: str, ssh_password: str)：从 Kali 工作站建立 SSH 连接。
• WriteFile(content: str, file_name: str)：在 Kali 机器上写入可执行文件。
• FinalAnswer(flag: str)：代理提供找到的 CTF 标志。

搜集汇总

数据集介绍

构建方式

AUTOPENBENCH 数据集构建于 AgentQuest 框架之上，该框架支持基准和代理架构的设计。数据集包含 33 个渗透测试任务，分为两个难度级别：体外任务和真实世界任务。每个任务代表一个易受攻击的系统，代理需要对其进行攻击。任务的难度逐渐增加，涵盖了从基础的网络安全知识到复杂的真实世界场景。为了评估代理的性能，定义了通用和特定的里程碑，允许以标准化方式比较结果，并理解被测代理的局限性。

特点

AUTOPENBENCH 数据集的特点在于其全面性和灵活性。它包含了 33 个任务，涵盖了从基础的体外渗透测试场景到复杂的真实世界案例。任务设计旨在评估代理在不同难度和环境下的表现，包括网络发现、服务识别、漏洞检测和利用等。此外，数据集提供了详细的评估信息，帮助理解代理在任务中的进展。通过公开源代码和使用说明，AUTOPENBENCH 鼓励研究社区的进一步扩展和研究。

使用方法

使用 AUTOPENBENCH 数据集时，研究人员和开发者可以通过提供的源代码和使用说明，自行扩展和定制任务。数据集支持两种代理架构的评估：完全自主代理和半自主代理，后者支持人机交互。通过定义的里程碑，可以客观地测量和理解代理的进展。数据集还允许比较不同大型语言模型（如 GPT-4o、Gemini Flash 或 OpenAI o1）对代理完成任务能力的影响。通过这些方法，AUTOPENBENCH 提供了一个标准和灵活的框架，用于在共同基础上比较渗透测试代理。

背景与挑战

背景概述

AUTOPENBENCH数据集由Luca Gioacchini、Idilio Drago、Giuseppe Siracusano等研究人员于2024年提出，旨在为生成式AI代理在自动化渗透测试中的评估提供一个全面且标准的框架。该数据集的核心研究问题是如何在复杂且多变的渗透测试任务中，通过生成式AI代理实现自动化攻击模拟。AUTOPENBENCH的引入填补了现有方法在评估、比较和开发生成式AI代理方面的空白，对网络安全领域具有重要影响力。

当前挑战

AUTOPENBENCH数据集面临的挑战主要包括两个方面：一是解决渗透测试领域复杂性和多样性带来的挑战，生成式AI代理需要具备多步骤规划和决策能力；二是构建过程中遇到的挑战，如如何设计一个既包含简单场景又涵盖真实世界复杂情况的全面框架。此外，评估生成式AI代理在不同任务中的表现和局限性也是一个重要挑战。

常用场景

经典使用场景

AUTOPENBENCH数据集在自动化渗透测试领域中扮演着至关重要的角色。其经典使用场景包括评估生成代理在模拟网络攻击中的表现，通过提供33个不同难度的任务，涵盖从简单的实验室环境到复杂的真实世界场景。这些任务要求代理识别并利用系统中的漏洞，从而测试其在自动化渗透测试中的有效性和可靠性。

实际应用

在实际应用中，AUTOPENBENCH数据集被广泛用于开发和测试自动化渗透测试工具。网络安全专家利用该数据集来训练和验证生成代理，以提高其在真实网络环境中的攻击模拟能力。此外，该数据集还支持网络安全产品的开发和优化，帮助企业提升其安全防御系统的有效性。

衍生相关工作

AUTOPENBENCH数据集的发布催生了一系列相关研究工作。例如，基于该数据集的研究已经开发出多种生成代理架构，包括完全自主和半自主代理，这些代理在自动化渗透测试中展示了不同的性能和局限性。此外，研究者还利用该数据集探讨了不同大型语言模型（如GPT-4o、Gemini Flash和OpenAI o1）对代理任务完成能力的影响，进一步推动了生成代理技术的发展。