zefang-liu/secqa
收藏SecQA 数据集概述
数据集描述
SecQA 是一个专门为评估大型语言模型（LLMs）在计算机安全领域的性能而创建的数据集。它包含由 GPT-4 生成的多项选择题，基于《计算机系统安全：规划成功》教科书的内容，旨在评估 LLMs 对计算机安全知识的理解和应用。
数据集详情
数据集结构
SecQA 分为两个版本：v1 和 v2。v1 是基础级别，而 v2 提供更高难度的挑战。每个版本包含与计算机安全领域不同学习目标紧密相关的多项选择题。每个问题提供四个答案选项，其中只有一个正确答案，且答案选项经过仔细打乱以确保公平性。
数据集创建
数据收集和处理
问题由 GPT-4 生成，利用《计算机系统安全：规划成功》教科书的内容，并在研究人员指导下进行。
数据源生产者
数据源由 GPT-4 和研究人员合作生成，利用上述教科书。
数据集用途
直接用途
SecQA 主要用于评估和基准测试大型语言模型（LLMs）在理解和应用计算机安全原则方面的性能。它适用于学术研究、网络安全教育中的人工智能开发，以及测试模型在安全相关场景中的解释和响应能力。
非适用用途
SecQA 不应作为现实世界网络安全决策或事件响应的唯一资源。它也不应用于训练模型进行不道德目的，如黑客攻击或创建安全漏洞。此外，该数据集不应被视为涵盖计算机安全的所有方面，因此不适用于需要广泛或最新行业知识的场景。
偏差、风险和局限性
SecQA 数据集虽然对评估 LLMs 在计算机安全领域的性能有价值，但存在一些局限性，如源材料和 GPT-4 处理可能带来的内容偏差、对计算机安全的狭窄关注可能不适用于更广泛的网络安全上下文，以及不同版本难度水平的差异可能影响模型评估的公平性。此外，答案选项的打乱虽然促进了平衡，但可能被复杂模型利用。由于该领域的快速发展，数据集的某些方面可能很快过时，并且存在被用于安全操纵的风险。
建议
用户应意识到数据集的风险、偏差和技术局限性。
引用
BibTeX:
@article{liu2023secqa, title={SecQA: A Concise Question-Answering Dataset for Evaluating Large Language Models in Computer Security}, author={Liu, Zefang}, journal={arXiv preprint arXiv:2312.15838}, year={2023} }
APA:
Liu, Z. (2023). SecQA: A Concise Question-Answering Dataset for Evaluating Large Language Models in Computer Security. arXiv preprint arXiv:2312.15838.
