shaswatamitra/falcon-snort-cti-rule

FALCON SNORT CTI ↔ 真实规则数据集是一个专门用于网络安全领域的数据集，它包含网络威胁情报（CTI）描述与其对应的真实SNORT入侵检测系统（IDS）规则，以及由大型语言模型（LLM）生成的诱饵规则（硬负样本）。该数据集旨在作为LLM规则生成评估和检索测试的基准测试集，用于评估LLM根据CTI描述生成SNORT规则的能力，以及测试对比性微调的句子编码器在检索任务中的性能。数据集包含802个CTI描述，总共3,063个诱饵规则，平均每个CTI有3.82个诱饵规则，范围在2到6个之间。数据集为单一测试分割，是保留的测试集，不可用于训练。The FALCON SNORT CTI ↔ Ground-Truth Rule Dataset is a cybersecurity dataset that pairs cyber-threat-intelligence (CTI) descriptions with their ground-truth SNORT IDS rules and LLM-generated decoy rules (hard-negative look-alikes). It serves as a held-out test benchmark for evaluating LLM rule-generation and retrieval testing of contrastively fine-tuned sentence encoders. The dataset includes 802 CTIs, 3,063 total decoys (mean 3.82 per CTI, range 2-6), and has a single split: test, which should not be used for training.

搜集汇总

数据集介绍

构建方式

该数据集源于FALCON项目在snort3-community-rules微调语料库上的确定性10%测试拆分（种子为42），通过逆向解析规则到CTI的映射文件（v1与v2拾取文件），精准恢复每条威胁情报描述对应的真实SNORT入侵检测规则。对于每个测试CTI，其诱饵规则集直接取自配套的诱饵数据集，确保数据可复现且自包含。最终构建出包含802条CTI、总计3063条诱饵规则的基准测试集，平均每条CTI配备3.82条诱饵规则。

使用方法

数据集可通过HuggingFace的datasets库便捷加载，指定split参数为'test'即可获取全部样本。使用时既可作为大语言模型规则生成任务的评估基准，通过精确匹配得分比较模型输出与黄金规则；也可作为对比学习编码器的检索测试集，度量模型将CTI与正确规则匹配并排除诱饵规则的能力。每一行数据包含完整的CTI描述、对应黄金规则以及预生成的诱饵规则列表，便于直接开展各类评估实验。

背景与挑战

背景概述

该数据集的创建源于网络威胁情报与入侵检测系统规则生成相结合的迫切需求，由Shaswata Mitra等研究人员于2025年依托FALCON项目提出。核心研究问题聚焦于如何利用大型语言模型从非结构化的网络威胁情报描述中自主生成精准的SNORT入侵检测规则。作为该领域的基准测试集，其通过802条威胁情报描述及对应的人工验证规则和LLM生成的诱饵规则，为评估规则生成模型的准确性与检索系统的排序能力提供了标准化的评估框架。该数据集的发布对推动自动化威胁情报分析与IDS规则生成技术的发展具有重要影响力，尤其填补了针对LLM生成的硬负样本进行评测的空白。

当前挑战

数据集面临的挑战首先体现在领域问题的复杂性上：网络威胁情报描述通常语义模糊且上下文依赖性强，使得LLM生成的规则需精准匹配攻击特征，同时规避高达3,063条诱饵规则的干扰，这对模型的语义理解与边界区分能力提出了极高要求。其次，构建过程中的挑战在于规则的逆向映射与保真度控制——从Snort社区规则库中确定性拆分10%测试集时需确保黄金规则与CTI描述的一一对应关系，且诱饵规则的生成需具有高度迷惑性以模拟实际攻击变体，这要求在数据预处理与文本生成之间实现精确的平衡。

常用场景

经典使用场景

在网络威胁情报与入侵检测系统规则的交叉领域中，falcon-snort-cti-rule数据集为评估大语言模型生成的SNORT规则质量提供了标准化基准。该数据集包含802条威胁情报描述及其对应的真实SNORT规则，并附有由大语言模型生成的诱饵规则作为硬负样本。研究人员通常利用该数据集进行两种经典评估：一是以完全匹配率为指标，衡量LLM从CTI描述自动生成SNORT规则的能力；二是将其作为检索任务的测试集，评价对比学习训练的句子编码器能否将真实规则从相似但错误的诱饵规则中准确区分出来。

解决学术问题

该数据集解决了网络威胁情报领域中长期存在的自动化规则生成评估难题。传统上，将非结构化的CTI文本转化为可执行的入侵检测规则高度依赖专家经验，且缺乏统一评价标准。falcon-snort-cti-rule通过提供真实规则与精心构造的硬负样本，使研究者能够量化评估LLM在网络安全领域生成准确规则的能力。其意义在于推动了规则生成任务从定性判断向定量评测的转变，为后续研究提供了可复现的实验基准，同时揭示了现有模型在区分细微语义差异时面临的挑战。

实际应用

在实际网络防御场景中，该数据集支撑着自动化威胁情报到检测规则的转换流程。安全运营中心可利用基于该基准训练的模型，从大量CTI报告中快速提取关键指标并生成SNORT规则，将人工编写规则的时间从小时级缩短至分钟级。此外，该数据集的高质量负样本设计使其适用于构建检索系统，帮助分析师在海量历史规则库中精准定位与当前威胁最匹配的检测方案。这种能力在应对零日攻击和快速演变的APT活动时尤为重要。

数据集最近研究

最新研究方向

该数据集聚焦于网络安全领域中，利用大语言模型（LLM）进行入侵检测系统（IDS）规则自动生成与评估的前沿方向。具体而言，它提供了802条对手情报（CTI）描述及其对应的真实SNORT规则，并配以LLM生成的诱饵规则作为硬负样本，构成一个自包含的测试基准。这一设计紧密结合了当前网络安全自动化与AI生成规则的热点事件，即通过LLM从自然语言威胁情报中自动生成可部署的IDS规则，以应对日益复杂的网络威胁。该数据集的发布显著推动了两个关键研究分支：一是LLM生成规则的质量评估，通过对比生成规则与真实规则实现精确匹配评分；二是对比学习在规则检索中的应用，训练句子编码器将CTI描述与其对应的真实规则区分于诱饵规则。其意义在于为网络安全社区提供了一个标准化、可复现的评估平台，促进了从文本威胁情报到可操作防御策略的端到端自动化流程，有望大幅提升威胁响应效率与准确性。