five

geekyrakshit/prompt-injection-dataset

收藏
Hugging Face2024-11-29 更新2024-12-14 收录
下载链接:
https://hf-mirror.com/datasets/geekyrakshit/prompt-injection-dataset
下载链接
链接失效反馈
官方服务:
资源简介:
该数据集名为Prompt Injection Classification,主要用于安全领域。数据集包含两个特征:prompt(字符串类型)和label(int64类型)。数据集分为训练集和测试集,分别包含270520和263914个样本。数据集的总下载大小为125839975字节,总数据集大小为204739881字节。数据集的语言为英语,标签为security。数据集是从三个不同的来源收集的,分别是deepset/prompt-injections、xTRam1/safe-guard-prompt-injection和jayavibhav/prompt-injection。

This dataset is for prompt injection classification, containing two main features: prompt (string type) and label (int64 type). The dataset is divided into training and test sets, containing 270520 and 263914 samples respectively. The language of the dataset is English, tagged as security, and the name of the dataset is Prompt Injection Classification. The dataset is collected from multiple sources, including deepset/prompt-injections, xTRam1/safe-guard-prompt-injection, and jayavibhav/prompt-injection.
提供机构:
geekyrakshit
搜集汇总
数据集介绍
main_image_url
构建方式
该数据集由多个公开的提示注入(prompt injection)相关数据集整合而成,具体包括deepset/prompt-injections、xTRam1/safe-guard-prompt-injection以及jayavibhav/prompt-injection等来源。通过合并这些涵盖不同场景与攻击模式的样本,构建了一个规模庞大且多样化的提示注入分类数据集。数据以默认配置形式提供,包含训练集与测试集两个划分,其中训练集包含270,520条样本,测试集包含263,914条样本,总样本量超过53万条。每条数据由提示文本(prompt)和对应的标签(label)组成,标签为整数类型,用于指示该提示是否属于注入攻击。
特点
该数据集最显著的特点在于其大规模与高覆盖性,总样本量超过53万条,为提示注入检测模型的训练提供了充足的数据基础。数据来源于多个不同领域和风格的子数据集,涵盖了丰富多样的注入攻击模式与正常提示,有助于提升模型的泛化能力。此外,数据集明确划分为训练集与测试集,且两者规模相当,便于进行公平的模型评估与性能比较。所有提示文本均为英文,标签为二分类格式,简洁明了,适合用于监督学习任务。数据集还被打上安全(security)标签,凸显其在人工智能安全领域的重要应用价值。
使用方法
该数据集可直接用于训练和评估提示注入分类模型。用户可通过HuggingFace的datasets库加载数据,使用默认配置即可获取训练集与测试集。加载后,每条数据包含prompt和label两个字段,其中label为0或1,分别代表正常提示和注入攻击提示。研究者可基于此构建文本分类模型,如使用Transformer架构进行微调,或将其作为安全检测模块的一部分集成到实际系统中。由于数据集已预先划分好训练与测试集,用户无需额外进行数据分割,可直接进行模型训练与性能验证,极大简化了使用流程。
背景与挑战
背景概述
随着大语言模型在各类应用中的广泛部署,提示注入攻击已成为一项严峻的安全威胁,其核心在于通过精心构造的输入文本,诱导模型偏离预期行为或泄露敏感信息。由研究者geekyrakshit于2023年创建的prompt-injection-dataset,汇聚了来自deepset、xTRam1及jayavibhav等多个公开数据源的提示注入样本,构建了一个包含超过27万条训练样本和26万条测试样本的大规模二分类数据集。该数据集聚焦于提示文本是否属于恶意注入的分类任务,为检测与防御提示注入攻击提供了标准化的评估基准,显著推动了自然语言处理安全领域的研究进展。其影响力体现在为模型鲁棒性测试、安全审计及对抗性训练提供了关键数据支撑,成为该方向后续研究的重要基石。
当前挑战
该数据集所应对的核心领域挑战在于提示注入攻击的隐蔽性与多样性——攻击者可能利用语义混淆、角色扮演或编码绕过等手段,使传统基于规则或简单分类的检测方法失效。构建过程中面临的主要挑战包括:多源数据集的异构性需统一标注标准,确保标签一致性;样本不平衡问题(恶意注入比例可能远低于正常提示)要求设计合理的采样策略;此外,提示注入的演化速度极快,新攻击模式层出不穷,使得数据集需持续更新以保持时效性。这些挑战不仅考验数据集的代表性与泛化能力,也要求后续模型在动态对抗环境中具备自适应检测的潜力。
常用场景
经典使用场景
在大型语言模型安全防护领域,Prompt注入攻击已成为最具威胁性的安全隐患之一。该数据集汇集了来自多个权威来源的数十万条提示样本,为构建鲁棒的提示注入分类器提供了高质量的标注数据。研究者可借此训练模型精准区分正常查询与恶意注入,从而在对话系统、代码生成等场景中筑起第一道防线。
解决学术问题
该数据集系统性地解决了语言模型安全研究中的核心难题——如何量化评估模型对注入攻击的脆弱性。通过提供大规模、多样化的攻击模式样本,它使得学术界能够建立标准化的基准测试框架,推动对抗性提示检测方法的可重复性研究,并催生了基于注意力机制、对比学习等多种防御策略的理论验证。
衍生相关工作
基于该数据集,研究者已衍生出多项开创性工作:包括提出混合粒度特征提取的注入检测框架、开发可解释性攻击模式分析工具,以及构建动态对抗训练范式。这些工作不仅深化了对提示注入机理的理解,更推动了安全对齐技术从静态规则向自适应防御体系的演进。
以上内容由遇见数据集搜集并总结生成
二维码
社区交流群
二维码
科研交流群
商业服务