InterCode-CTF

该数据集包含了100个挑战，这些挑战因其标准化的评估框架和在先前研究中的重要性而被选中，用于在模拟现实世界编程的交互式环境中测试编码代理。此外，InterCode-CTF挑战赛使用了InterCode运行时来执行源自picoCTF的挑战，后者是一个高中级别的CTF练习平台。该数据集的规模为100个挑战，任务内容是参与者在进攻安全挑战中必须利用脆弱的系统来寻找隐藏的标志。

This dataset comprises 100 challenges selected for their standardized evaluation framework and significance in prior research, designed to test coding agents in an interactive environment that simulates real-world programming. Furthermore, the InterCode-CTF challenges utilize the InterCode runtime to execute challenges sourced from picoCTF, a high-school-level CTF exercise platform. This dataset's 100 tasks require participants to exploit vulnerable systems to find hidden flags in offensive security scenarios.

搜集汇总

背景与挑战

背景概述

InterCode-CTF是InterCode项目中的一个交互式编码环境，专注于评估语言模型在解决CTF（Capture The Flag）任务中的表现。该数据集是InterCode基准测试的一部分，旨在通过自然语言请求和代码交互来测试和比较不同语言模型的性能。