threat-intelligence-dataset
收藏资源简介：
一个用于教导语言模型进行网络安全威胁情报工作的指令调优数据集：包括读取CVE并解释实际风险、从ATT&CK技术剖析威胁行为者、将Sigma规则转换为警报分类指导、映射攻击链的杀伤链、为技术编写检测逻辑等。数据集基于真实来源构建，如MITRE ATT&CK、CISA KEV、CWE等，每个事实声明都经过验证，包含9,970个单轮示例和1,500个多轮对话，覆盖37个类别，旨在提高模型在网络安全领域的准确性和实用性。
This is an instruction-tuning dataset designed to train large language models (LLMs) to perform cybersecurity threat intelligence tasks. It covers tasks including reading Common Vulnerabilities and Exposures (CVE) entries and explaining their actual risks, analyzing threat actors via MITRE ATT&CK techniques, converting Sigma rules into alert classification guidelines, mapping the kill chain of attack chains, writing detection logic for cybersecurity techniques, and more. The dataset is built on authoritative real-world sources such as MITRE ATT&CK, CISA KEV, CWE, and others. All factual statements within the dataset have been verified. It contains 9,970 single-turn examples and 1,500 multi-turn conversations, spanning 37 categories, and aims to enhance the accuracy and practical applicability of models in the cybersecurity domain.
数据集概述
该数据集是一个针对网络威胁情报（CTI）领域设计的指令微调数据集，旨在训练大语言模型执行各类CTI分析任务，如解读CVE风险、分析威胁行为体、理解Sigma规则、映射攻击链以及编写检测逻辑等。
核心特性
- 数据真实性保障：所有生成记录均源自真实数据源（如MITRE ATT&CK、CISA KEV、CWE、OSV、abuse.ch等），且每个事实性引用（如技术ID、CVE编号、IOC）在生成后均经过验证，未通过验证的记录会被丢弃。
- 数据规模与多样性：
- 包含 9,970条单轮对话 和 1,500条多轮对话。
- 覆盖 37个类别，每个类别不少于150个示例。
- 97.6%的指令各不相同，通过多样化措辞避免模型过拟合于特定提问方式。
- 去重与平衡：使用嵌入技术去除近重复项，并对每个类别进行平衡处理。
文件结构
| 文件 | 记录数 | 说明 |
|---|---|---|
data/train.jsonl |
9,172 | 单轮训练集（instruction/input/output格式） |
data/eval.jsonl |
798 | 按类别分层的保留评估集 |
data/train_blended.jsonl |
12,229 | 训练集混合25%通用指令，防止模型遗忘安全领域外话题 |
data/train_multiturn.jsonl |
1,500 | 多轮对话数据集，含两轮相互关联的问答 |
所有数据文件可通过以下方式从Hugging Face加载：
python from datasets import load_dataset
ds = load_dataset("reloading0101/threat-intelligence-dataset") # train + validation blended = load_dataset("reloading0101/threat-intelligence-dataset", "blended") # + 25% general chat = load_dataset("reloading0101/threat-intelligence-dataset", "multi_turn") # multi-turn
数据格式
- 单轮记录：采用
instruction/input/output结构，并附带元数据（如类别、任务类型、数据源引用）。 - 多轮记录：使用标准
messages列表格式，每轮助手回答均基于同一真实实体（如分析CVE后追问“是否应优先修补”）。
数据来源
- 威胁情报框架：MITRE ATT&CK v19.1（企业、移动、ICS）、MITRE ATLAS、MITRE CWE。
- 漏洞与评估：CISA KEV、FIRST.org EPSS、AttackerKB、OSV.dev。
- 恶意软件与威胁数据：abuse.ch（Feodo、SSLBL、URLhaus、ThreatFox）、MalwareBazaar、Malpedia、ransomware.live、OpenPhish。
- 安全框架：OWASP Top 10、API Top 10、STRIDE、NIST SP 800-61、Diamond Model、Pyramid of Pain。
- 通用文本：databricks-dolly-15k用于混合训练。
构建流程
- 将各类数据源解析为统一的知识库（如技术-战术-缓解措施关联、组织-恶意软件关联、CVE-EPSS分数关联）。
- 基于知识库中的真实实体生成记录，发电机从不自行编造ID或关系。
- 使用本地模型对每条指令进行重述，避免相同任务使用相同措辞。
- 使用本地模型将回答改写为可读的分析师风格文本，并设立事实校验门控，防止模型偏离事实。
- 通过嵌入去除近重复项，平衡每个类别数量。
- 最终验证阶段重新检查每条记录中的ID与知识库的一致性，不匹配则丢弃。
37个类别
ai-ml-threats, api-security, attribution-analysis, botnet-infrastructure, campaign-analysis, cloud-saas-security, container-security, cryptojacking-mining, cyber-espionage-apt, dark-web-cybercrime, data-exfiltration, deception-technology, digital-risk-management, email-threats, geopolitical-threats, ics-ot-security, incident-response-forensics, insider-threats, malicious-campaigns, malware, mobile-iot-threats, network-based-threats, ransomware-operations, red-team-operations, security-monitoring-detection, social-engineering-fraud, supply-chain-attacks, threat-actors, threat-hunting, threat-intelligence, threat-intelligence-feeds, threat-intelligence-operations, threat-modeling, ttps-mitre-attack, vulnerabilities-cves, web-application-security, zero-day-exploits
微调建议
- 适用于已指令微调的模型（如Llama 3.x Instruct、Qwen2.5 Instruct），推荐使用LoRA或QLoRA进行领域适配。
- 建议在
train_blended.jsonl上训练（混合25%通用指令），避免模型过度专业化而丧失对话能力；评估时使用纯CTI的eval.jsonl，并按类别细分模型薄弱点。 - 训练参数参考：LoRA rank 16-32，学习率1e-4至2e-4，cosine调度，2-3个epoch，序列长度2048，仅训练答案部分（mask掉prompt）。
局限说明
- 对ATT&CK框架依赖较强：约61%的记录引用ATT&CK，模型可能偏好使用该框架进行表述。
- 部分类别规模较小：如挖矿、邮件、社会工程等类别因真实源材料有限，仅150-175条示例。
- 以单轮对话为主：多轮对话仅占较小部分。
- 回答风格偏向报告结构：适合分析任务，但不适用于开放式聊天。
伦理与许可
- 仅用于防御性安全、教育和研究目的，不含可利用漏洞、武器化代码、PII或私有数据。
- 指标为保留/合成范围或公开报告的检测用指标。
- 采用 CC BY 4.0 许可，同时要求对底层数据源（如ATT&CK、CISA、Dolly等）的原始许可给予适当引用。
重要链接
- Hugging Face 数据集页面：https://huggingface.co/datasets/reloading0101/threat-intelligence-dataset
- 许可协议：https://creativecommons.org/licenses/by/4.0/
引用格式
bibtex @misc{cti-instruction-tuning-dataset, title = {Cyber Threat Intelligence Instruction-Tuning Dataset}, author = {Reloading}, year = {2026}, url = {https://huggingface.co/datasets/reloading0101/threat-intelligence-dataset} }
