Prompt Injection Malignant

kaggle2024-04-25 更新2024-04-26 收录

自然语言处理安全

模型防御

数据链接：

https://www.kaggle.com/datasets/marycamilainfo/prompt-injection-malignant 数据链接链接失效反馈

官方服务：

资源简介：

Defending LLMs Against Jailbreak Attacks - Malignant Dataset

抵御大语言模型（Large Language Model）越狱攻击——恶意数据集

创建时间：

2024-04-25

JailBench

自然语言处理安全

语言模型评估

JailBench是由北京邮电大学可信分布式计算与服务教育部重点实验室创建的一个全面的中文安全性评估基准，旨在评估大型语言模型（LLM）在中文语境下的深层安全漏洞。该数据集包含10,800个查询，涵盖了5个不同的风险领域和40种具体的风险类型，通过自动化的数据扩展方法和创新的自动越狱提示工程框架（AJPE），提高了评估的有效性和效率。JailBench可以广泛应用于大型语言模型的安全性评估，特别是

arXiv2025-02-26 更新1710

Egida

自然语言处理安全

对抗性攻击

Egida数据集是由巴塞罗那超级计算中心创建的，包含从九个不同公共数据集中收集的2949个危险问题或指令。数据集经过人工精细的主题分类，并针对所有样本应用了18种不同的 jailbreaking 攻击方法，最终形成了包含61830个不安全实例的完整数据集。该数据集用于训练和评估，以增强LLM模型在各种主题和攻击风格下的安全性。

arXiv2025-02-19 更新570

PubDef: Defending Against Transfer Attacks

网络安全

模型防御

Pre-trained models and transfer attacks from https://arxiv.org/abs/2310.17645

kaggle2023-12-05 更新160

TRIDENT

自然语言处理安全

机器学习模型训练

TRIDENT数据集由武汉大学计算机学院和蚂蚁集团合作创建，旨在通过三个关键维度（词汇多样性、恶意意图多样性和越狱策略多样性）来增强大型语言模型的安全性。该数据集由26,311个示例组成，每个示例都包含有害指令和相应的符合伦理的响应。数据集的创建过程利用了基于个人和零样本LLM生成的自动化流程，以确保多样性和全面性。该数据集可用于微调LLM，以提高其安全性并减少有害输出的可能性。

arXiv2025-05-30 更新720

DecomposedHarm

自然语言处理安全

分解攻击防御

DecomposedHarm数据集是迄今为止最大和最多样化的数据集，包括问答、文本到图像和代理任务，用于评估在分解攻击下的大型语言模型（LLM）监控。该数据集由纽约大学和洛桑联邦理工学院的研究人员创建，旨在帮助研究和防御分解攻击。数据集的创建过程包括使用jailbroken LLM自动将每个原始有害提示转换为看似良性的子查询列表。数据集在问答、文本到图像和代理任务中均表现出有效性，并可用于评估和改

arXiv2025-06-13 更新240

Prompt Injection Malignant

资源简介：

相关数据集