hmalik03054729558/prompt-injection-dataset

该数据集是一个二进制分类数据集，用于检测基于大语言模型（LLM）应用中的用户输入是否为提示词注入攻击。它旨在训练仅编码器模型（如BERT、RoBERTa、DistilBERT）将用户输入分类为良性或提示词注入尝试。数据集包含两个类别：标签0表示良性（合法用户查询），标签1表示注入（提示词注入尝试）。特征包括文本列（用户输入字符串）和标签列（二进制标签0或1）。覆盖的攻击类型包括指令覆盖、角色混淆、提示提取、混淆技术、社会工程、技术注入、嵌入式攻击、假设框架、紧急/危机场景和上下文操纵。此外，良性类别包含硬负样本，如AI/ML技术问题、提示工程、AI安全研究等，以减少误报。数据集特点包括平衡的训练集（良性与攻击比例为1.32:1）、内容多样性（良性类别中30%为问题，70%为陈述）、文本长度多样（从20-150+字符）和攻击多样性（覆盖10+攻击类别）。使用方式可通过Hugging Face的datasets库加载，评估指标包括准确率、F1分数、精确率、召回率和ROC-AUC。限制包括仅支持英语、专注于基于文本的攻击（无多模态）、可能未覆盖所有新兴攻击模式，以及验证/测试集为手动策划且规模较小。

A binary classification dataset for detecting prompt injection attacks in user inputs to LLM-based applications. It is designed to train encoder-only models (e.g., BERT, RoBERTa, DistilBERT) to classify user inputs as either benign or prompt injection attempts. The dataset includes two classes: label 0 for BENIGN (legitimate user queries) and label 1 for INJECTION (prompt injection attempts). Features include a text column (user input string) and a label column (binary label 0 or 1). It covers various prompt injection attack patterns such as instruction override, role confusion, prompt extraction, obfuscation, social engineering, technical injection, embedded attacks, hypothetical framing, urgency/emergency scenarios, and context manipulation. The benign class includes hard negatives like AI/ML technical questions, prompt engineering, AI safety research, etc., to reduce false positives. Dataset characteristics include balanced training (1.32:1 benign-to-attack ratio), diverse content (30% questions and 70% statements in benign class), text length variety (short to long examples), and attack diversity (covering 10+ attack categories). Usage involves loading via Hugging Faces datasets library, and evaluation metrics include accuracy, F1-score, precision, recall, and ROC-AUC. Limitations include English-only language, focus on text-based attacks (no multi-modal), potential gaps in emerging attack patterns, and manually curated validation/test sets that are smaller than the training set.

搜集汇总

数据集介绍

构建方式

该数据集的构建旨在应对基于大语言模型应用中的提示注入安全威胁，通过精心收集与整理用户输入文本，形成二分类标注体系。数据集总计包含超过1.5万个样本，划分为训练集（11089例）、验证集（2101例）与测试集（2101例），其中验证集与测试集保持严格的类别平衡（各占50%），为模型性能评估提供了可靠基准。数据标注由人工完成，明确区分良性查询与恶意注入攻击，覆盖指令覆写、角色混淆、提示提取、混淆编码、社会工程、技术注入、嵌入攻击、假设框架、紧急情境及上下文操控等十种典型攻击模式，确保攻击类型的多样性与真实性。

使用方法

该数据集专为编码器架构的预训练语言模型设计，如BERT、RoBERTa及DistilBERT等，通过简单的微调即可实现提示注入检测任务。用户可通过HuggingFace Datasets库一键加载数据，调用load_dataset('S-Labs/prompt-injection-dataset')获取完整的三份切分，并直接以‘text’字段作为输入、‘label’字段作为输出目标。评估指标推荐采用F1分数作为核心衡量标准，同时辅以准确率、精确率、召回率及ROC-AUC，特别需关注两个类别各自的性能表现，以确保模型在安全性与可用性之间取得平衡。

背景与挑战

背景概述

随着大语言模型（LLM）在各类应用中的广泛部署，针对其推理过程的提示注入攻击（prompt injection）已成为人工智能安全领域的重要威胁。此类攻击通过精心构造的输入，诱使模型违背预设行为准则，可能导致信息泄露、越权操作甚至生成恶意内容。为应对这一挑战，S-Labs研究团队于2026年发布了提示注入检测数据集（Prompt Injection Detection Dataset），旨在为基于编码器（encoder-only）的文本分类模型（如BERT、RoBERTa）提供高质量的训练和评估资源。该数据集包含约1.5万条英文样本，覆盖指令覆写、角色混淆、提示提取、伪装编码、社交工程、技术注入、嵌入攻击、假设性框架、紧急情景和上下文操纵等十余种典型攻击模式，并精心引入了困难负样本（hard negatives），以降低分类器的误报率。其平衡的验证集与测试集（各2101条，正负样本各半）为模型准确率、F1分数、精确率、召回率及ROC-AUC等指标的全面评估提供了可靠基础，对推动LLM应用安全防护的研究具有里程碑意义。

当前挑战

该数据集所面临的挑战首先源于提示注入攻击本身的演化性与隐蔽性：攻击者持续发明新的变体，如利用多步指令、语境操纵、伪装编码或假设性框架绕过防御机制，要求分类器具备泛化到未知攻击模式的能力。同时，数据集仅包含英文文本，缺少对多语言和多模态攻击场景的覆盖，限制了其在全球化和复杂应用环境中的适用性。在构建过程中，挑战集中于两点：一是如何准确界定“正常”与“注入”行为的边界，因为许多安全与AI技术相关的合法查询（如‘如何防止提示注入’）在语义上与攻击样本高度相似，易导致误分类；二是数据集的规模和多样性有限——训练集约1.1万条，虽覆盖10余种攻击类别，但仍可能遗漏新兴的或小众的攻击手法，且验证集与测试集为人工精心整理，规模较小，可能无法完全反映真实部署中攻击分布的动态变化。

常用场景

经典使用场景

在大语言模型（LLM）安全防护的学术探索中，该数据集作为一项关键的基准资源，被广泛用于训练和评估基于编码器架构的文本分类模型，如BERT、RoBERTa和DistilBERT，以区分用户输入是合法查询还是提示注入攻击。其经典使用场景涵盖了多种攻击模式的识别，包括指令覆盖、角色混淆、提示提取、混淆编码、社会工程学以及技术性注入等十大类别，为模型在多样化威胁面前保持稳健性提供了坚实的训练基础。

解决学术问题

该数据集精准回应了LLM安全领域一个核心学术难题：如何高效检测并防御提示注入攻击，从而保障AI系统的可靠性和用户交互的安全性。通过提供包含复杂硬负例（如涉及AI安全研究、提示工程术语的正常问题）的平衡语料库，它解决了传统分类器在高召回与低误报之间难以权衡的困境。其影响在于推动了对抗性鲁棒性与安全性分类器的基准化研究，为学界系统性评估防御策略的有效性奠定了数据基础。

实际应用

在实际部署中，该数据集助力开发人员构建面向实时对话系统的注入检测模块，用于拦截恶意指令以保护基于LLM的客服、教育助手和内容生成平台。通过训练分类器识别伪装成普通请求的攻击（例如包含隐藏命令的嵌入式问题），企业能够在用户交互层提前过滤风险，避免模型被诱导执行越权操作或泄露内部配置信息，从而显著降低因注入攻击引发的业务安全事件和数据泄露风险。

数据集最近研究

最新研究方向

随着大语言模型（LLM）在各类应用中的广泛部署，提示注入攻击已成为AI安全领域最严峻的威胁之一。该数据集聚焦于检测用户输入中针对LLM应用的恶意操纵行为，覆盖指令覆盖、角色混淆、提示提取、混淆编码、社会工程等十余种攻击模式，并精心设计了包含技术术语、安全讨论、元认知问题等在内的困难负样本，以提升分类器在真实场景下的鲁棒性。当前前沿研究方向集中于利用编码器模型（如BERT、RoBERTa）进行二分类检测，并围绕精确率、召回率与F1分数寻求平衡，以应对日益复杂的对抗性改写和上下文操控攻击。这一数据集的发布为AI安全对齐研究提供了系统化的评测基准，推动了针对提示注入攻击的自动化防护技术从实验室走向产业落地。