walledai/WildJailbreak

该数据集是一个英语数据集，包含两个主要特征：prompt和label，均为字符串类型。数据集包含一个训练集，大小为1746298字节，包含2210个样本。下载大小为1008927字节，数据集总大小为1746298字节。默认配置中，数据文件路径为data/train-*。

This dataset is an English dataset containing two main features: prompt and label, both of which are string types. The dataset includes a training set with a size of 1746298 bytes, containing 2210 examples. The download size is 1008927 bytes, and the total dataset size is 1746298 bytes. In the default configuration, the data file path is data/train-*.

原始信息汇总

数据集概述

语言

• 英语（en）

数据集信息

特征

• prompt: 数据类型为字符串（string）
• label: 数据类型为字符串（string）

数据集划分

• train:
  • 字节数: 1746298
  • 样本数: 2210

数据集大小

• 下载大小: 1008927 字节
• 数据集大小: 1746298 字节

配置

• config_name: default
  • data_files:
    • split: train
    • path: data/train-*

搜集汇总

数据集介绍

构建方式

WildJailbreak是一个专为语言模型安全训练设计的大规模合成数据集，其构建融合了系统性生成与对抗性攻击模拟。数据集包含262K条提示-响应对，涵盖直接有害请求（vanilla harmful）和复杂对抗性越狱攻击（adversarial harmful）两类。针对vanilla harmful，研究者借助GPT-4依据13类风险分类自动生成50,050条有害提示，并利用GPT-3.5生成对应的拒绝响应。为缓解模型过度安全行为，同步构建了50,050条表面相似但无恶意意图的良性提示（vanilla benign）及其合规响应。对抗性部分则基于WildTeaming框架，从真实用户-聊天机器人交互中挖掘5.7K个独特越狱策略簇，随机采样2-7种策略组合，分别由Mixtral-8×7B和GPT-4模型对原始有害和良性提示进行变换，经低风险过滤后生成82,728条有害对抗样本和78,706条良性对抗样本。

使用方法

WildJailbreak可通过HuggingFace Datasets库便捷加载。训练集使用`load_dataset('allenai/wildjailbreak', 'train', delimiter='\t', keep_default_na=False)`获取，评价集则通过指定split为'eval'加载。每条数据包含prompt、adversarial、tactics、completion和data_type五个字段，分别对应原始提示、对抗变体、所用越狱策略列表、模型响应及数据类型标签。研究者可根据data_type字段筛选特定子集用于安全微调或评估。例如，使用adversarial_harmful子集训练模型的越狱防御能力，同时结合adversarial_benign子集监控过度拒绝现象。对于对抗性攻击评估，可直接使用评价集中的2,000条有害样本计算ASR，以量化模型在面对复杂越狱策略时的脆弱性。

背景与挑战

背景概述

随着大型语言模型在现实世界中的广泛应用，其安全性问题日益凸显，特别是模型面临越狱攻击时可能生成有害内容的脆弱性。在此背景下，由艾伦人工智能研究所（Allen Institute for AI）的Liwei Jiang、Kavel Rao等研究人员于2024年提出的WildJailbreak数据集应运而生。该数据集旨在系统性地解决语言模型的安全对齐问题，通过构建包含26.2万条提示-响应对的合成安全训练数据，覆盖直接有害请求与复杂对抗性越狱攻击两大核心场景。其独特之处在于引入了良性对照查询，以缓解模型过度安全行为。WildJailbreak依托于WildTeaming框架，从真实用户与聊天机器人交互中挖掘出5700余种新颖越狱策略，为安全训练提供了丰富的对抗样本。该数据集已成为评估和提升语言模型鲁棒性的重要基准，推动了安全性研究从被动防御向主动对抗的范式转变。

当前挑战

WildJailbreak所面临的挑战主要体现在两个层面。在领域问题层面，核心挑战在于如何有效防御日益复杂的越狱攻击，这些攻击通过角色扮演、多步诱导、上下文劫持等隐蔽手段绕过模型安全机制，而现有防御策略往往顾此失彼，难以同时兼顾安全性（拒绝有害请求）与实用性（响应良性查询）。在数据集构建过程中，研究人员需克服合成数据质量与多样性之间的平衡难题：一方面，自动生成的对抗性样本需保持足够的新颖性和攻击强度，避免模式固化；另一方面，过度依赖GPT-4等模型生成数据可能导致风格同质化或引入潜在偏差。此外，如何精确界定有害与良性查询的边界，以及如何确保对照样本在语义上足够接近真实场景，亦是构建过程中的关键挑战。

常用场景

经典使用场景

WildJailbreak数据集的核心应用在于为大语言模型（LLM）的安全对齐训练提供高质量的对抗性与良性提示-响应对。其经典使用场景是作为红队测试（red-teaming）的基准资源，研究者通过利用数据集中包含的2.2万条直接有害请求与8.2万条复杂对抗性越狱样本，系统性地评估模型在面对隐蔽攻击时的脆弱性。同时，数据集中精心设计的良性对抗样本（如表面相似但无危害的查询）可有效校准模型的安全边界，防止过度防御导致的误拒行为。这一设计使其成为训练鲁棒性安全分类器或强化学习阶段奖励模型的理想数据源。

解决学术问题

该数据集直接回应了大语言模型安全研究中的核心矛盾：如何在抵御恶意攻击与避免过度防御之间取得平衡。传统安全训练常导致模型对无害查询产生假阳性拒绝，而WildJailbreak通过引入对比性样本（harmful vs. benign）解决了这一学术难题。它揭示了现有模型面对组合式越狱策略（如角色扮演、语义混淆、情感操纵等）时的脆弱性，为量化攻击成功率（ASR）提供了标准化评估框架。其意义在于推动了从静态安全基准向动态对抗性测试的范式转变，为构建更符合伦理的对话AI奠定了数据基础。

实际应用

在实际部署中，WildJailbreak可用于构建内容审核系统的对抗性训练管道，例如过滤社交媒体中的隐蔽仇恨言论或虚假信息。科技公司可借助其多样化攻击模板（如5.7K种越狱策略组合）模拟真实世界的攻击模式，提升聊天机器人在金融咨询、医疗建议等高敏感场景中的安全护栏。此外，数据集的良性对抗样本能帮助开发者优化模型对用户合理请求的响应质量，避免因过度防御引发的用户体验下降。其开源属性使得中小型企业也能低成本复现顶级实验室的安全对齐流程。

数据集最近研究

最新研究方向

在大语言模型安全对齐领域，WildJailbreak数据集引领了从静态红队测试向动态对抗性攻击防御的研究范式转变。该数据集通过WildTeaming框架从真实用户交互中挖掘了5700余种新颖越狱策略，构建了涵盖13类风险场景的26.2万组提示-响应对，开创性地提出了“良性对抗样本”概念以缓解模型过度安全化问题。当前前沿研究聚焦于利用该数据集的对抗性生成机制，探索多策略组合攻击下的鲁棒性训练方法，同时结合“越狱战术”的细粒度标注，推动模型在保持安全边界与避免过度拒绝之间的动态平衡。这一工作不仅为AI安全领域提供了规模化、可复现的训练基准，更通过引入对比性数据架构，为构建具备情境感知能力的自适应安全对齐系统奠定了方法论基础。