theResearchNinja/OllaGen-1

OllaGen1数据集旨在帮助研究人员和应用程序开发者在网络安全合规或不合规行为的背景下，方便地评估他们的大型语言模型（LLMs）。数据集包含三个问答子集：True or False、Which Cognitive Path和Who is who，并且提供了一个数据集生成器，允许生成新的、基于现实的问答条目，确保对LLM的评估具有鲁棒性。数据集基于Cybonto知识图谱，该图谱结合了108个心理学构建和数千条基于20个时间验证的心理学理论的相关路径。

原始信息汇总

OllaGen-1 数据集概述

基本信息

• 许可证: Apache 2.0
• 任务类别:
  • 问答
  • 特征提取
  • 对话
• 语言: 英语
• 标签:
  • 网络安全
  • 认知行为心理学
  • 数据生成器
  • 信息安全合规
• 名称: OllaGen-1 for Cognitive Behavioral Cybersecurity
• 数据规模: 1K<n<10K

数据集概述

OllaGen-1 数据集旨在帮助研究人员和应用程序开发人员在网络安全合规或不合规行为的背景下，方便地评估其大型语言模型（LLM）。数据集包含三个问答子集：“真或假”、“哪个认知路径”和“谁是谁”，并提供数据集生成器以生成新的、基于现实情况的问答条目，确保对LLM进行稳健评估。

数据集内容

• 数据格式: CSV
• 字段:
  • ID（问题ID）
  • Context（描述与网络安全合规或不合规相关的认知行为细节）
  • Question
  • Answer（正确参考答案）

数据生成方法

• 主要库:
  • datetime, random
  • itertools
  • copy
  • pandas
  • matplotlib
  • csv
  • json
  • networkx
• 参数配置:
  • node_path: Cybonto Gen1 知识节点的路径
  • edge_path: Cybonto Gen1 知识边的路径
  • dict_path: Cybonto Gen1 提示模板的路径
  • QA_TF_questions: 要生成的真/假问题的最大数量
  • QA_TF_coglength: 用于生成上下文的认知行为路径的长度
  • QA_TF_outpath: 生成的问题的保存位置
  • QA_WCP_questions: 要生成的“哪个认知路径”问题的最大数量
  • QA_WCP_coglength: 用于生成上下文的认知行为路径的长度
  • QA_WCP_outpath: 生成的问题的保存位置
  • QA_WHO_questions: 要生成的“谁是谁”问题的最大数量
  • QA_WHO_outpath: 生成的问题的保存位置

数据集生成步骤

1. 确保所需库已安装。
2. 修改 params.json 文件以符合您的需求。
3. 运行 OllaGen1.py 生成数据集。

数据集验证

• 科学方法: 使用108个心理学构造和基于20个经过时间考验的心理学理论的相关路径，构建了一个名为Cybonto的新颖本体。
• 知识图谱: 选择符合网络安全合规和不合规上下文的节点和边，并基于此知识图谱和指定参数创建认知行为路径。

已知问题

• LLM可能不会以预期格式返回响应。
• 某些LLM可能会对同一问题重复提供错误答案。

报告问题

• 使用GitHub问题报告问题，作者将修复其端的问题，并尝试使用提示工程修复LLM端的问题。