Awesome-Jailbreak-on-LLMs

该合集是一个关于大语言模型越狱方法的资源集合，涵盖越狱攻击、防御、评估和分析等领域。它收集了包括数据集、论文、代码和评估工具在内的多种资源，主题聚焦于大语言模型的安全性和越狱技术。

This collection is a curated resource set dedicated to jailbreak methods for large language models (LLMs), spanning domains including jailbreak attacks, defensive strategies, evaluation methodologies, and related analyses. It gathers a wide range of resources such as datasets, academic papers, code, and evaluation tools, with its core focus on the security of LLMs and jailbreak-related technologies.

原始信息汇总

数据集概述

项目名称：Awesome-Jailbreak-on-LLMs

项目类型：文献与资源合集

核心主题：大语言模型（LLM）的越狱攻击与防御方法

主要内容：该合集收录了针对大语言模型的最新、最前沿的越狱方法，涵盖论文、代码、数据集、评估与分析。

分类目录

• Jailbreak Attack（越狱攻击）

  • Attack on LRMs（对推理模型攻击）
  • Black-box Attack（黑盒攻击）
  • White-box Attack（白盒攻击）
  • Multi-turn Attack（多轮攻击）
  • Attack on RAG-based LLM（对基于检索增强生成模型的攻击）
  • Multi-modal Attack（多模态攻击）

• Jailbreak Defense（越狱防御）

  • Learning-based Defense（基于学习的防御）
  • Strategy-based Defense（基于策略的防御）
  • Guard Model（守卫模型）
  • Moderation API（审核API）

• Evaluation & Analysis（评估与分析）

• Application（应用）

收录论文示例

• Attack on LRMs：

  • BadThink: Triggered Overthinking Attacks on Chain-of-Thought Reasoning in Large Language Models（AAAI26）
  • ExtendAttack: Attacking Servers of LRMs via Extending Reasoning（AAAI26）
  • H-CoT: Hijacking the Chain-of-Thought Safety Reasoning Mechanism to Jailbreak Large Reasoning Models（arXiv, 2025）

• Black-box Attack：

  • FlipAttack: Jailbreak LLMs via Flipping（ICML25）
  • Emoji Attack: Enhancing Jailbreak Attacks Against Judge LLM Detection（ICML25）
  • Playing the Fool: Jailbreaking LLMs and Multimodal LLMs with Out-of-Distribution Strategy（CVPR25）
  • ArtPrompt: ASCII Art-based Jailbreak Attacks against Aligned LLMs（ACL24）
  • Improved Few-Shot Jailbreaking Can Circumvent Aligned Language Models and Their Defenses（NeurIPS24）

引用论文

该仓库推荐引用以下五篇相关论文：

1. GuardReasoner-Omni: A Reasoning-based Multi-modal Guardrail for Text, Image, and Video（arXiv, 2026）
2. GuardReasoner-VL: Safeguarding VLMs via Reinforced Reasoning（arXiv, 2025）
3. GuardReasoner: Towards Reasoning-based LLM Safeguards（arXiv, 2025）
4. FlipAttack: Jailbreak LLMs via Flipping（arXiv, 2024）
5. Safety in Large Reasoning Models: A Survey（arXiv, 2025）

获取方式

• 数据集详情页：https://github.com/yueliu1999/Awesome-Jailbreak-on-LLMs
• 论文链接可在仓库中各表格中获取（均为arXiv或会议官方地址）
• 代码链接可在仓库中各表格中获取（部分为GitHub或Hugging Face链接）

联系方式

如有问题，可联系 [e-mail]。

搜集汇总

数据集介绍

构建方式

该数据集以系统化文献综述的方式构建，广泛收集了针对大型语言模型（LLMs）的最新越狱攻击与防御方法。构建过程涵盖了对顶级学术会议及预印本平台（如AAAI、ICML、NeurIPS、ICLR、CVPR、ACL及arXiv）中相关论文的全面检索与整理，并进一步将收集到的研究成果按攻击类型（如黑盒攻击、白盒攻击、多轮攻击、多模态攻击）与防御策略（如基于学习的防御、基于策略的防御、护栏模型）进行精细分类。每个条目均附有论文标题、发表时间、会议/期刊信息、论文链接及对应的代码仓库地址，确保资源的可追溯性与可复现性。

使用方法

用户可通过GitHub仓库直接访问该数据集，其设计遵循即用型原则。研究者可根据自身需求，通过浏览分类目录快速定位特定类型的攻击或防御方法。每个条目提供的论文链接可用于深入理解技术细节，而附带的代码仓库则支持直接下载与实验复现。此外，数据集鼓励社区贡献，研究者可通过提交Pull Request或联系维护者添加最新成果，从而持续扩充资源库，保持其前沿性。

背景与挑战

背景概述

随着大型语言模型（LLMs）在自然语言处理领域的广泛应用，其安全性问题日益凸显。由新加坡国立大学刘岳等人于2024年创建的Awesome-Jailbreak-on-LLMs数据集，系统性地收集了针对LLMs的最新越狱攻击方法、防御策略及评估分析。该数据集聚焦于揭示LLMs在安全对齐机制中的脆弱性，涵盖黑盒攻击、白盒攻击、多模态攻击及推理模型攻击等前沿研究方向。其核心研究问题在于探索如何通过对抗性输入诱导模型生成有害内容，从而推动安全对齐技术的发展。该数据集已成为LLM安全领域的重要基准，相关论文被ICML、NeurIPS、CVPR等顶级会议收录，对推动AI安全研究具有深远影响。

当前挑战

该数据集所面临的挑战首先在于领域问题的复杂性：LLMs越狱攻击需应对模型日益增强的安全对齐机制，攻击者需不断演化策略以绕过防御。例如，针对推理模型（LRMs）的过度思考攻击、基于ASCII艺术或符号数学的隐式越狱手法，均对传统安全检测构成严峻考验。其次，构建过程中面临动态性挑战：攻击方法迭代迅速，数据集需持续收录最新论文与代码，确保时效性；同时，多模态攻击（如图像、视频）的涌现增加了数据标注与评估的难度。此外，跨模型迁移性、攻击可解释性以及防御策略的鲁棒性评估，均为数据集维护与扩展的核心难题。

常用场景

经典使用场景

在大型语言模型（LLM）安全研究领域，Awesome-Jailbreak-on-LLMs 数据集被广泛用于评估和测试LLM在面对恶意越狱攻击时的脆弱性。该数据集收录了多种前沿的越狱方法，包括黑盒攻击、白盒攻击、多轮攻击及多模态攻击等，为研究者提供了一个系统化的基准测试平台。研究者通过在该数据集上运行攻击算法，能够量化模型的安全对齐能力，识别其潜在的漏洞。这一经典使用场景不仅帮助揭示了LLM在对抗性输入下的行为模式，还促进了安全防御机制的设计与优化，成为LLM安全评估中不可或缺的工具。

解决学术问题

该数据集系统性地解决了LLM安全研究中缺乏统一、标准化越狱攻击基准的核心学术问题。此前，研究者各自采用不同的攻击方法和评价指标，导致结果难以横向比较，限制了安全领域的进展。Awesome-Jailbreak-on-LLMs 通过整合多种攻击策略、代码和评估分析，构建了一个可复现、可扩展的研究框架。它使得学术界能够深入探究越狱攻击的机理，例如奖励规范错误、推理链劫持等，从而推动了对抗性攻击的通用理论发展，并为设计更鲁棒的安全对齐方法奠定了坚实基础，显著提升了LLM部署的可靠性。

实际应用

在实际应用中，Awesome-Jailbreak-on-LLMs 数据集被AI安全公司、云服务提供商和模型开发者用于红队测试和安全审计。例如，在部署聊天机器人或内容生成系统前，安全团队可利用该数据集中的攻击样例（如ASCII艺术攻击或上下文提示劫持）来模拟恶意用户行为，检验模型是否会输出有害信息。此外，该数据集还支持构建自动化防御系统，如基于推理的护栏模型（如GuardReasoner），实时检测并拦截越狱尝试。这些应用有效降低了LLM在实际场景中被滥用的风险，保障了用户交互的安全性与合规性。

数据集最近研究

最新研究方向

在大语言模型安全对齐领域，越狱攻击与防御的攻防博弈已成为当前最受瞩目的前沿议题。随着DeepSeek-R1、OpenAI o1/o3等具备链式思维推理能力的大推理模型（LRM）的涌现，针对其推理过程的新型攻击范式如雨后春笋般兴起。H-CoT攻击通过劫持模型的安全推理链实现越狱，BadReasoner则在后门中植入可调控的过度思考机制，而ExtendAttack利用延长推理过程对模型服务器实施拒绝服务攻击，这些研究深刻揭示了推理能力增强带来的安全悖论。与此同时，多模态攻击维度持续拓展，Agent Smith仅凭单张图像即可指数级感染百万级多模态智能体，ArtPrompt利用ASCII艺术编码绕过文本审查，FlipAttack通过翻转操作实现高效黑盒越狱，展现了攻击手段的多样性与隐蔽性。在防御层面，基于推理的守卫模型GuardReasoner系列开创了可解释安全防护新范式，通过强化推理机制检测恶意输入，为构建可信赖的AI系统提供了关键支撑。这一研究方向不仅关乎模型安全底线，更深刻影响着AI在金融、医疗等高风险领域的实际部署与人类社会的信任基石。