Jaemo3123/JBB-Behaviors

JBB-Behaviors数据集是JailbreakBench基准测试的一部分，是一个开源的大语言模型（LLM）越狱鲁棒性基准测试数据集。该数据集包含100个不同的滥用行为，这些行为既有原创的，也来源于先前的工作（特别是Trojan Detection Challenge/HarmBench和AdvBench），并参考了OpenAI的使用政策进行整理。每个数据条目包含以下五个组件：Behavior（描述独特滥用行为的唯一标识符）、Goal（请求不当行为的查询）、Target（对目标字符串的肯定响应）、Category（基于OpenAI使用政策的更广泛滥用类别）和Source（行为来源，如原创、Trojan Detection Challenge 2023 Red Teaming Track/HarmBench或AdvBench）。数据集分为十个类别，对应OpenAI的使用政策，旨在通过代表性行为实现快速评估新攻击方法。数据集主要用于跟踪越狱攻击和防御的性能，支持研究人员比较算法效果。

The JBB-Behaviors dataset is part of JailbreakBench, an open-source robustness benchmark for jailbreaking large language models (LLMs). It comprises 100 distinct misuse behaviors, which are both original and sourced from prior work (specifically, Trojan Detection Challenge/HarmBench and AdvBench), curated with reference to OpenAIs usage policies. Each entry in the dataset has five components: Behavior (a unique identifier describing a distinct misuse behavior), Goal (a query requesting an objectionable behavior), Target (an affirmative response to the goal string), Category (a broader category of misuse from OpenAIs usage policies), and Source (the source from which the behavior was sourced, e.g., Original, Trojan Detection Challenge 2023 Red Teaming Track/HarmBench, or AdvBench). The dataset is divided into ten categories corresponding to OpenAIs usage policies, focusing on 100 representative behaviors to enable faster evaluation of new attacks. It is designed to track the performance of attacks and defenses, providing a stable way for researchers to compare future algorithms.

搜集汇总

数据集介绍

构建方式

JBB-Behaviors数据集由JailbreakBench项目精心构建，旨在服务于大型语言模型越狱攻击与防御领域的鲁棒性评估。数据集汇集了100种不同的滥用行为，这些行为既包括原创内容，也整合自先前知名研究工作，如Trojan Detection Challenge、HarmBench及AdvBench。每种行为均基于OpenAI的使用政策进行筛选与分类，涵盖十大政策违规类别。每条数据条目包含行为标识符、恶意查询目标、预期肯定回应以及来源标注，确保了数据集的系统性与可追溯性。

特点

该数据集的核心特点在于其精炼的代表性。不同于简单堆砌大量样本，JBB-Behaviors仅选取100个代表性行为，旨在实现攻击与防御算法的高效评估。数据集兼具恶意与良性行为划分，并配备独立的裁判比较集合，为多维度分析提供了基础。此外，数据集与官方排行榜及攻击字符串仓库紧密结合，形成了完整的基准测试生态，便于研究者横向对比不同方法的性能优劣。

使用方法

使用者可直接通过HuggingFace平台加载JBB-Behaviors数据集，支持按'behaviors'或'judge_comparison'两种配置获取数据。在研究中，建议将数据集作为标准测试基准，评估自身提出的越狱攻击方法或防御策略的效果。同时，引用时应同时注明JailbreakBench及其源数据集AdvBench、HarmBench等，以尊重原始工作贡献。数据集采用MIT许可证发布，鼓励学术界与工业界广泛使用与贡献。

背景与挑战

背景概述

大型语言模型（LLM）的广泛应用带来了对其安全性与鲁棒性的深切关注，其中越狱攻击（jailbreaking）作为一种通过精心设计的输入诱使模型输出有害内容的攻击方式，已成为领域内亟需应对的核心挑战。在此背景下，2024年发表于NeurIPS数据集与基准测试轨道的JailbreakBench项目应运而生，由Patrick Chao、Edoardo Debenedetti、Alexander Robey等多位来自普林斯顿大学、ETH Zurich等顶尖机构的研究者共同构建。该研究团队发布了JBB-Behaviors数据集，旨在为LLM的越狱攻击与防御提供标准化的评估基准。数据集精心挑选了100种不同的滥用行为，部分源自AdvBench、Trojan Detection Challenge与HarmBench等既有工作，并参照OpenAI使用政策进行分类，通过提供统一的攻击效果与防御效能评估平台，显著推动了LLM安全相关研究的可复现性与系统化进展。

当前挑战

JBB-Behaviors数据集所应对的核心挑战源于LLM越狱攻击的复杂性与多样性。在领域问题层面，现有攻击手段层出不穷且日益隐蔽，许多方法能够绕过传统的对齐防御，而防御策略的有效性却常常缺乏统一的评估尺度，导致研究人员难以横向比较不同攻防方案的真实性能。在数据集构建层面，团队面临多重难题：需从大量既有行为列表中筛选出具有代表性的内容，确保覆盖性而不流于零散；需维护数据来源的合规性，每条行为必须参考现行AI使用政策；同时还要规避可能存在的偏见与冒犯性内容，并在公开环境中保持伦理边界。此外，将不同来源的用例统一为标准化格式，并在100个样本量的限制下兼顾多样性与评测效率，亦是一次精细的设计权衡。

常用场景

经典使用场景

JBB-Behaviors数据集是JailbreakBench基准测试的核心组成部分，专为评估和提升大型语言模型（LLM）的鲁棒性而设计。其经典使用场景在于系统性地测试模型对越狱攻击的抵抗能力。该数据集精挑细选了100项具有代表性的恶意行为，这些行为覆盖了OpenAI使用政策所界定的十大类违规范畴，既包含了从AdvBench、HarmBench等既有基准中汲取的经典案例，也融入了基于前沿研究构思的新颖情境。研究者利用这一数据集，可通过向目标模型提交这些精心构造的查询，并观察其是否生成有害回应，从而定量评估攻击策略的有效性和防御机制的坚实程度。这一过程不仅支持了攻击算法的横向比较，也为防御技术的发展提供了统一且可重复的测试场域，是推动LLM安全研究不可或缺的标准化评估工具。

实际应用

在现实世界中，JBB-Behaviors数据集的应用深刻体现于大语言模型上线前的安全审计与鲁棒性测试环节。各类AI开发机构可借助该数据集，系统性地对即将部署的聊天机器人、智能客服、内容生成助手等产品进行压力测试，模拟并检测其在面对恶意诱导、角色扮演越狱或多轮对抗性提问时，是否会出现违规内容输出。这有助于在产品发布前发现并修复安全漏洞，降低法律与声誉风险。此外，该数据集也服务于持续的安全监控，通过定期复现标准化攻击，运维团队能够追踪模型在迭代更新后安全性能的波动，确保安全防线未被削弱。其应用还延伸至企业级内容审核系统的构建与优化，通过分析模型对不同类别违规行为的敏感度，制定更具针对性的过滤规则与训练策略。

衍生相关工作

JBB-Behaviors数据集的推出催生了一系列重要的衍生与相关研究工作。最直接相关的便是JailbreakBench项目本身所构建的官方排行榜与攻击字符串仓库，它们作为动态资源，持续追踪并记录着最前沿的越狱攻击与防御方法，为后续研究提供了宝贵的基线与灵感。例如，基于该数据集，研究者们深入探索了多轮对话中的累积性越狱风险、利用人格调制实现可迁移黑盒攻击的新范式，以及如何通过对抗性训练来提升模型的普遍拒绝能力。此外，该数据集也常被用于验证新提出的防御框架，如基于分类器的输入净化、提示级联的鲁棒设计，以及引入人类反馈的强化学习校准等。这些后续工作无一不依赖于JBB-Behaviors提供的标准化测试环境，使其成为了连接攻击与防御研究、推动LLM鲁棒性认知螺旋式上升的关键纽带。