NYU CTF Dataset

NYU CTF Dataset是由纽约大学创建的一个大型公开数据集，包含200个来自全球CSAW CTF竞赛的挑战。数据集涵盖了网络安全领域的多个方面，如密码学、取证、二进制利用等。创建过程涉及手动验证和标准化，确保数据集的质量和可用性。该数据集旨在评估大型语言模型（LLMs）在解决网络安全挑战中的能力，为AI驱动的网络安全解决方案提供测试和改进的平台。

The NYU CTF Dataset is a large-scale open public dataset created by New York University, which comprises 200 challenges sourced from the global CSAW CTF competition. The dataset covers multiple domains within the field of cybersecurity, including cryptography, digital forensics, binary exploitation, and more. Its development process involves manual verification and standardization to ensure the dataset's quality and usability. This dataset aims to evaluate the capabilities of Large Language Models (LLMs) in solving cybersecurity challenges, providing a platform for testing and improving AI-driven cybersecurity solutions.

搜集汇总

数据集介绍

构建方式

NYU CTF数据集的构建基于纽约大学年度网络安全意识周（CSAW）的CTF挑战解决类别。该数据集从全球CSAW CTF竞赛中收集了568个CTF挑战，并从中验证了200个挑战，涵盖了六个不同的类别。每个挑战都经过了手动验证，以确保其在软件包版本更新后仍然可解。对于需要服务器端部署的挑战，还进行了手动验证，以确保服务器容器可以成功连接到同一Docker网络内的外部和内部设备。为了标准化数据集，以便于一致使用和未来扩展，所有挑战都使用Docker容器进行封装，并通过Docker Compose进行部署。每个挑战的数据库包括一个JSON文件，其中包含所有必要的信息和部署所需的代码。

特点

NYU CTF数据集具有以下特点：1. 包含200个多样化的CTF挑战，代表广泛的网络安全主题。2. 提供了一个自动化的框架，该框架利用开源和黑盒LLMs解决CTF挑战，展示了当前机器学习模型在该领域的潜力和局限性。3. 提供了一个全面的工具包，集成了六个不同的工具和函数调用功能，以增强基于LLM的解决方案。此外，数据集的难度分布合理，使得不同水平的参与者都能找到适合自己的挑战。

使用方法

NYU CTF数据集的使用方法包括：1. 使用Docker容器作为挑战服务器或从本地挑战文件加载挑战。2. 利用框架中的外部工具模块，LLMs可以执行命令、生成文件、反汇编和反编译二进制文件、验证发现的标志等。3. 通过框架的日志系统，可以实时监控系统提示、用户提示、模型输出和调试信息，并在解决问题过程完成后将所有日志保存为JSON文件，以便于分析和改进。4. 框架的提示模块可以根据挑战.json文件中的信息生成系统提示、用户提示和模型提示，帮助LLMs理解挑战内容并解决问题。

背景与挑战

背景概述

网络安全竞赛中，攻防旗（CTF）挑战已成为测试和提升网络安全技能的重要方式。这些挑战模拟现实世界中的安全场景，涉及密码学、取证、二进制漏洞利用、代码逆向工程和网络漏洞利用等领域。为了评估大型语言模型（LLM）在解决网络安全挑战方面的能力，研究人员创建了NYU CTF数据集。该数据集由纽约大学网络安全意识周（CSAW）的CTF挑战组成，包括200个多样化的挑战，涵盖了密码学、取证、漏洞利用、逆向工程和网络挑战等六个类别。该数据集旨在提供一个开放、可扩展的基准数据库，用于评估LLM在解决CTF挑战方面的性能。通过利用LLM的高级函数调用能力，研究人员构建了一个完全自动化的系统，该系统具有增强的工作流程，并支持外部工具调用。该数据集和相关框架为未来研究LLM在交互式网络安全任务和自动任务规划中的效率提供了基础。

当前挑战

NYU CTF数据集和相关框架面临的主要挑战包括：1)数据集不平衡和多样性：尽管数据集包含了200个挑战，但某些类别（如取证、密码学和网络挑战）的挑战数量较少，这可能会影响评估结果的准确性和挑战类型之间的公平比较。2)工具/平台支持：LLM在解决挑战时可能会使用不合适的工具，例如在Python代码上使用C/C++逆向工程工具。扩展工具和平台支持将有助于缓解此类问题。3)模型支持更新：随着LLM社区的发展，需要不断更新模型支持，以确保框架能够利用最新的LLM技术。4)伦理问题：CTF挑战涉及网络攻击场景，因此在利用LLM进行攻击性安全研究时，需要考虑伦理问题。研究人员需要确保LLM的部署符合道德规范，并防止滥用。

常用场景

经典使用场景

NYU CTF Dataset，也称为“NYU CTF数据集”，是一个开放源代码的基准数据集，旨在评估大型语言模型（LLMs）在网络安全领域解决抓取旗帜（CTF）挑战的能力。该数据集由纽约大学开发，包括来自CSAW比赛的200个CTF挑战，涵盖了加密、取证、二进制利用、逆向工程和Web利用等领域。NYU CTF数据集的一个经典使用场景是在网络安全领域训练和评估LLMs的能力，以解决现实世界的安全问题。通过让LLMs解决这些挑战，研究人员可以了解它们在处理复杂任务和推理方面的能力，并为未来的研究提供有价值的见解。

实际应用

NYU CTF数据集在实际应用场景中具有重要的意义。它可以帮助网络安全专业人员训练和评估LLMs的能力，以便更好地应对现实世界的网络安全威胁。通过使用NYU CTF数据集，网络安全专业人员可以了解LLMs在处理复杂任务和推理方面的能力，并为未来的研究提供有价值的见解。此外，NYU CTF数据集还可以用于开发新的网络安全工具和解决方案，以提高网络安全防护能力。例如，研究人员可以使用NYU CTF数据集来训练LLMs，使其能够自动检测和修复软件漏洞，从而提高网络安全防护能力。

衍生相关工作

NYU CTF数据集的发布引发了网络安全领域中LLMs研究的热潮。该数据集不仅为研究人员提供了一个评估LLMs能力的基准，还为未来的研究提供了有价值的见解。在此基础上，研究人员开展了许多相关的工作，例如开发新的LLMs模型、探索LLMs在网络安全领域的应用、以及研究LLMs的推理能力等。这些相关的工作进一步推动了网络安全领域中LLMs的发展，并为未来的研究提供了有价值的参考。