wikipunk/d3fend|网络安全数据集|知识图谱数据集

D3FEND数据集是一个网络安全对策知识图谱，详细编码了网络安全对策领域的关键概念和关系，并链接到网络安全文献中的相关参考资料。该数据集由三元组组成，每个三元组代表一个网络安全概念或概念之间的关系。数据集包括主体、谓词和对象三个特征，分别表示网络安全概念或实体、主体的属性或主体与对象之间的关系、以及与主体通过谓词关联的实体。数据集的构建和预处理包括从D3FEND本体构建全本体文件、导入Protege进行逻辑推理和验证、使用Debug Ontology插件检查本体的连贯性和一致性、使用Apache Jena工具导出推断的公理、过滤和格式转换、以及压缩结果文件。

原始信息汇总

D3FEND 数据集概述

数据集基本信息

• 语言: 英语
• 许可证: MIT
• 标签: 知识图谱, RDF, OWL, 本体论, 网络安全
• 注释创建者: 专家生成
• 数据集名称: D3FEND
• 数据集大小: 100K<n<1M
• 任务类别: 图机器学习

数据集特征

• 特征:
  • subject: 字符串类型
  • predicate: 字符串类型
  • object: 字符串类型

数据集配置

• 配置名称: default
• 分割:
  • train:
    • 字节数: 46899451
    • 样本数: 231842

数据集描述

D3FEND 数据集以知识图谱的形式编码了一个网络安全对策知识库。它精心组织了网络安全对策领域中的关键概念和关系，并将每个概念与网络安全文献中的相关参考文献相链接。

使用场景

研究人员和网络安全爱好者可以利用 D3FEND 数据集进行以下工作：

• 开发复杂的基于图的模型。
• 微调大型语言模型，专注于网络安全知识图谱的完善。
• 探索防御技术的复杂性和细微差别，映射到 MITRE ATT&CK、弱点（CWEs）和网络安全分类法。
• 深入了解网络安全领域中的本体开发和建模。

数据集构建和预处理

• 构建: 使用 D3FEND 本体的 beta 版本构建，包括 CWE 扩展。
• 导入和推理: 导入到 Protege 5.6.1 版本中，使用 Pellet 推理插件进行逻辑推理和验证。
• 一致性检查: 使用 Protege 中的 Debug Ontology 插件确保本体的一致性和连贯性。
• 导出、转换和压缩: 使用 Apache Jena 的命令行工具进行导出、过滤、格式转换和压缩。

数据集特征详细描述

• Subject: 三元组的主题，代表一个网络安全概念或实体，如特定的对策或 ATT&CK 技术。
• Predicate: 三元组的谓词，表示主题的属性或特征，或主题与对象之间的关系。
• Object: 三元组的对象，是与主题通过谓词相关联的实体，可以是另一个网络安全概念或主题的属性值。

数据集加载

使用 Hugging Face Datasets 库加载数据集的示例代码： python from datasets import load_dataset dataset = load_dataset(wikipunk/d3fend, split=train)

示例

以下是数据集中一个三元组的示例：

• Subject: "<http://d3fend.mitre.org/ontologies/d3fend.owl#T1550.002>"
• Predicate: "<http://d3fend.mitre.org/ontologies/d3fend.owl#may-be-associated-with>"
• Object: "<http://d3fend.mitre.org/ontologies/d3fend.owl#T1218.014>"

该三元组表示 ATT&CK 技术 T1550.002 可能与 ATT&CK 技术 T1218.014 相关联。

致谢

该本体由 MITRE 公司开发，并根据 MIT 许可证授权。感谢作者们的工作，让我对网络安全建模有了新的认识。

引用

bibtex @techreport{kaloroumakis2021d3fend, title={Toward a Knowledge Graph of Cybersecurity Countermeasures}, author={Kaloroumakis, Peter E. and Smith, Michael J.}, institution={The MITRE Corporation}, year={2021}, url={https://d3fend.mitre.org/resources/D3FEND.pdf} }

AI搜集汇总

数据集介绍

构建方式

D3FEND数据集的构建过程严谨而系统，基于D3FEND本体的beta版本，通过详细的README文档指导构建了`d3fend-full.owl`本体文件。该本体在Protege 5.6.1中导入，并使用Pellet推理器插件进行逻辑推理和验证，确保了本体的连贯性和一致性。随后，通过Apache Jena工具导出推断的公理，并使用`d3fend.rq`过滤器保留相关三元组，最终转换为Turtle和N-Triples格式，并进行压缩处理，以适应多样化的使用需求。

特点

D3FEND数据集以三元组的形式呈现，每个三元组由主体、谓词和客体组成，分别表示网络安全概念或实体、属性或关系、以及相关联的实体或属性值。该数据集涵盖了广泛的网络安全防御措施，支持复杂的关系建模，并提供了与MITRE ATT&CK、CWE等网络安全分类的映射，为研究人员提供了深入探索网络安全防御技术的丰富资源。

使用方法

使用D3FEND数据集时，首先需安装`datasets`和`rdflib`库。通过Hugging Face的Datasets库加载数据集后，每个样本将以字典形式呈现，包含`subject`、`predicate`和`object`三个键。用户可利用`rdflib.util.from_n3`解析N3格式的三元组，进一步处理和分析数据。该数据集适用于开发基于图的模型、微调大型语言模型以及深入研究网络安全本体建模等领域。

背景与挑战

背景概述

D3FEND数据集是由MITRE公司开发的一个网络安全对策知识图谱，旨在通过知识图谱的形式系统化地组织和表达网络安全领域的关键概念与关系。该数据集的核心研究问题是如何有效地构建和利用知识图谱来支持网络安全领域的研究与实践。D3FEND的构建基于专家生成的知识，涵盖了从基础概念到复杂防御技术的广泛内容，并与MITRE ATT&CK、CWE等网络安全标准进行了关联。其发布时间为2021年，主要研究人员包括Peter E. Kaloroumakis和Michael J. Smith。该数据集的推出为网络安全领域的知识图谱构建和图机器学习提供了重要的资源，推动了网络安全防御技术的精细化与智能化发展。

当前挑战

D3FEND数据集在构建过程中面临了多个挑战。首先，网络安全领域的知识复杂且动态变化，如何准确捕捉并表达这些知识是构建知识图谱的主要难题。其次，数据集的构建涉及从多种来源整合信息，包括文献引用和标准映射，这要求高度的专业知识和细致的验证过程。此外，知识图谱的逻辑一致性和完整性检查也是一大挑战，需要借助如Pellet推理器等工具进行严格验证。最后，数据集的格式转换和压缩过程需要高效且可靠的技术支持，以确保其在不同应用场景下的可用性。

常用场景

经典使用场景

D3FEND数据集的经典使用场景主要集中在网络安全领域的知识图谱构建与分析。研究人员可以利用该数据集开发复杂的基于图的模型，通过图神经网络等技术深入挖掘网络安全防御措施之间的复杂关系。此外，该数据集还可用于微调大型语言模型，专注于网络安全知识图谱的补全任务，从而提升模型在网络安全领域的推理能力。

解决学术问题

D3FEND数据集解决了网络安全领域中防御措施的系统化建模问题。通过构建一个包含防御措施及其关系的知识图谱，该数据集为研究人员提供了一个系统化的框架，用于探索防御措施与MITRE ATT&CK技术、常见弱点枚举（CWEs）以及网络安全分类法之间的关联。这不仅有助于提升网络安全防御措施的有效性，还为网络安全领域的知识图谱构建提供了新的研究范式。

衍生相关工作

D3FEND数据集的发布催生了一系列相关研究工作。例如，基于该数据集的知识图谱补全算法研究，旨在提升网络安全防御措施的自动化推荐能力。此外，还有研究者利用该数据集进行网络安全领域的图神经网络模型优化，以更好地捕捉防御措施之间的复杂关系。这些衍生工作不仅丰富了网络安全领域的研究内容，还为实际应用提供了技术支持。