behaviourial_dataset

DARPA 溯源图数据集（DARPA Provenance Graphs Dataset）是一个专注于网络安全领域的溯源图数据集。该数据集包含样本溯源图，其中节点代表进程，边代表系统事件。数据来源包括 DARPA TC Engagement 3 以及 OpTC 红队/良性活动。数据集以 Parquet 文件格式存储，其中边文件（*_edges.parquet）记录事件数据，节点文件（*_nodes.parquet）记录节点数据。该数据集适用于网络安全溯源分析、威胁检测、异常行为识别等任务。DARPA Provenance Graphs Dataset is a provenance graph dataset focused on the field of cybersecurity. The dataset contains sample provenance graphs where nodes represent processes and edges represent system events. Data sources include DARPA TC Engagement 3 and OpTC red team/benign activities. The dataset is stored in Parquet file format, with edge files (*_edges.parquet) recording event data and node files (*_nodes.parquet) recording node data. This dataset is suitable for tasks such as cybersecurity provenance analysis, threat detection, and abnormal behavior identification.

原始信息汇总

数据集概述

该数据集名为 DARPA Provenance Graphs Dataset，主要包含用于分析系统行为的溯源图（Provenance Graphs）数据，适用于安全监控和异常检测等场景。

数据内容

• 样本溯源图：包含多个溯源图实例，用于表示系统行为和事件之间的关系。
• 节点：代表系统中的进程（Processes）。
• 边：代表系统事件（System events），用于连接节点并描述进程间的交互。

数据来源

• DARPA TC Engagement 3：来自DARPA透明计算项目第三次参与活动的数据。
• OpTC Red Team/Benign：包含OpTC数据集中的红队攻击行为和良性正常行为数据。

文件结构

• *_edges.parquet：存储事件数据的边文件，格式为Parquet。
• *_nodes.parquet：存储节点数据的节点文件，格式为Parquet。

搜集汇总

数据集介绍

构建方式

该数据集源自DARPA透明计算项目（TC）的第三次参与活动（Engagement 3），旨在为系统行为分析提供真实世界的溯源图数据。通过收集OpTC环境中的红队与良性活动日志，数据集以溯源图的形式组织信息，其中节点代表进程，边代表系统事件。原始数据经过清洗与转换，生成以Parquet格式存储的边文件和节点文件，分别命名为`*_edges.parquet`与`*_nodes.parquet`，便于高效读取与处理。

特点

该数据集的核心特点在于其源自权威的DARPA TC项目，数据真实性与标注细致。溯源图结构完整捕捉了进程间的交互关系，有助于入侵检测、攻击路径追踪等安全研究。数据规模宏大，覆盖红队攻击与良性行为，为监督学习任务提供平衡样本。Parquet格式的列式存储特性支持高压缩率与快速查询，兼容主流数据处理框架，便于与现有分析流程集成。

使用方法

使用该数据集时，研究者可先通过加载Parquet文件获取节点与边信息，并构建溯源图数据结构。针对防御性安全任务，可利用数据中的标签，对边事件进行特征提取，继而训练分类器以区分恶意与良性行为。此外，溯源图可输入至图神经网络或传统图挖掘算法，用于异常检测、因果分析等方向。数据集的开放获取属性与标准化格式，大幅降低了研究门槛，适用于学术研究与工业实践。

背景与挑战

背景概述

该数据集源自美国国防高级研究计划局（DARPA）透明计算（TC）项目的第三次参与活动（Engagement 3），由DARPA及其合作研究机构于近年构建并发布，旨在支撑网络攻击检测与系统行为分析领域的研究。数据集以溯源图（Provenance Graphs）为核心表征形式，整合了OpTC环境中的红队攻击流量与良性操作记录，系统性地记录了进程节点及其交互事件，为探索高级持续性威胁（APT）的自动识别提供了高质量的基准数据。自发布以来，该数据集已成为网络溯源分析、异常检测及图神经网络等研究方向的重要验证平台，推动了安全社区对复杂攻击场景的量化理解与模型评估。

当前挑战

该数据集所聚焦的领域难题在于，从海量系统事件中精准辨识隐匿的恶意行为，这要求模型能够解析溯源图中长距离的因果关系与稀疏的异常模式，而现有时序或图算法在计算复杂度和检测精度间难以平衡。在构建层面，挑战尤为突出，一方面需融合多源异构数据（如红队与良性行为），并确保事件记录在时间与语义上的对齐一致性；另一方面，大规模溯源图的构建面临存储与隐私的权衡，且标注过程依赖深度专家知识，易引入噪声，这些因素共同制约了数据集的规模扩展与下游任务的泛化性能。

常用场景

经典使用场景

该数据集以DARPA透明计算项目第三轮参与（Engagement 3）及OpTC红队/良性行动为背景，提供了详尽的溯源图样本，其中节点代表系统进程，边代表系统事件。此类数据结构为研究复杂系统行为模式提供了理想载体，广泛应用于异常检测、入侵检测和系统取证等经典场景。研究者常基于这些图结构构建机器学习模型，以区分良性系统活动与恶意攻击轨迹，从而验证和比较不同算法的鲁棒性和有效性。

实际应用

在实际应用中，该数据集为构建企业级端点检测与响应（EDR）系统、安全信息和事件管理（SIEM）平台提供了训练与测试基准。安全团队可借助这些溯源图训练模型，实时辨识APT攻击、内部威胁及零日漏洞利用等复杂威胁，提升威胁狩猎效率。此外，该数据集也支持供应链安全分析、云环境安全监测及取证调查自动化，有助于缓解日益严峻的网络安全人才短缺问题，增强组织的整体安全态势。

衍生相关工作

以此数据集为基石，衍生出了一系列具有影响力的研究工作。例如，基于图卷积网络（GCN）的溯源图分类模型，旨在捕捉进程间交互的复杂语义；基于注意力机制的序列模型用于预测恶意行为链；以及融合时间动态性的图时序网络，以提升实时检测能力。这些工作不仅推动了机器学习与系统安全交叉领域的发展，也催生了基准测试平台和开源工具库，极大促进了该领域的学术交流与产学研合作。