Cybench CTF Tasks

该数据集包含了来自4个不同CTF（夺旗赛）竞赛的40个专业级别任务，这些任务因其相关性和不同难度级别而被精心挑选。每个任务都附带详细描述、起始文件以及一个环境，供代理在其中执行命令。该数据集的规模涉及多个竞赛的40个任务，其目的是通过CTF任务来评估语言模型在网络安全能力方面的表现。

This dataset includes 40 professional-level tasks carefully selected for their relevance and diverse difficulty levels, originating from four distinct CTF (Capture The Flag) competitions. Each task comes with a detailed description, starter files, and an environment that allows AI Agents to run commands. The primary goal of this dataset is to assess the cybersecurity performance of language models through CTF tasks.

搜集汇总

背景与挑战

背景概述

Cybench是一个用于评估语言模型网络安全能力和风险的基准数据集，包含40个专业级别的CTF任务，覆盖密码学、Web安全等多个类别，并引入子任务以支持渐进式评估。该数据集已被多个机构和研究广泛采用，用于测试模型的攻防能力，同时注重伦理考量，旨在促进网络安全研究的发展。