ALERT

一个大规模基准，用于通过新颖的细粒度风险分类法评估大型语言模型的安全性。它旨在通过红队方法评估LLMs的安全性，并包含超过45k条指令，使用新颖的分类法进行分类。

A large-scale benchmark for evaluating the safety of large language models via a novel fine-grained risk taxonomy. It is designed to assess LLMs' safety through red teaming approaches, and contains over 45,000 instructions classified using this novel taxonomy.

搜集汇总

数据集介绍

构建方式

在构建ALERT数据集时，研究团队采用了一种半自动化的策略，以系统性地收集和生成红队测试提示。初始阶段，数据集基于Anthropic的人类偏好数据集，通过筛选与安全风险类别相关的提示，并利用关键词匹配和零样本分类技术进行过滤与分类。为确保每个风险类别具有足够的覆盖范围，团队进一步设计了模板化方法，自动生成多样化提示，并通过大型语言模型进行语义改写以增强复杂性。此外，数据集还引入了对抗性增强策略，包括后缀注入、前缀注入、令牌操纵和越狱攻击，以模拟恶意用户行为，从而扩展数据集的鲁棒性评估能力。最终，ALERT数据集整合了超过45,000条红队提示，覆盖6个宏观类别和32个微观类别，为全面评估语言模型的安全性提供了坚实基础。

特点

ALERT数据集的核心特点在于其精细化的安全风险分类体系，该体系涵盖了仇恨言论、犯罪策划、管制物质、性内容、自杀自残以及非法武器等六大领域，并进一步细分为32个微观类别，使得评估能够深入模型的具体弱点。数据集规模庞大，包含超过45,000条提示，其中既包含正常场景下的测试，也融入了对抗性攻击策略，从而全面考察模型在复杂环境下的安全表现。此外，ALERT采用自动化评估框架，通过辅助语言模型对生成响应进行安全分类，计算出整体及类别特定的安全分数，为研究者提供了量化且可比较的指标。这种设计不仅支持多政策合规性分析，还能灵活调整评估范围，适应不同法律和文化背景的需求。

使用方法

使用ALERT数据集进行模型评估时，研究者首先将数据集中的红队提示输入目标大型语言模型，以获取其生成响应。随后，通过一个经过训练的辅助语言模型（如Llama Guard）对这些响应进行安全分类，判断其是否违反预设的安全准则。评估过程会为每个风险类别计算安全分数，即被标记为安全的响应比例，并基于此推导出整体安全得分。这种方法允许研究者识别模型在特定领域的漏洞，例如在管制物质或仇恨言论类别中的表现差异。此外，数据集还支持对抗性鲁棒性测试，通过对比正常提示与对抗性提示下的安全分数，揭示模型在面对恶意攻击时的稳定性。最终，评估结果可用于指导模型的安全调优，并促进符合伦理规范的AI系统开发。

背景与挑战

背景概述

在大型语言模型（LLM）迅速发展的背景下，其安全性与伦理风险日益成为学术界与工业界关注的焦点。ALERT数据集由罗马萨皮恩扎大学、巴贝尔斯凯普、达姆施塔特工业大学、DFKI及芝加哥大学等机构的跨学科团队于2024年共同创建，旨在通过红队测试方法系统评估LLM的安全性。该数据集构建了包含6个宏观类别与32个微观类别的精细风险分类体系，涵盖了仇恨言论、犯罪策划、违禁物质、性内容、自残及非法武器等关键领域，并提供了超过4.5万条对抗性指令。ALERT不仅为模型安全评估提供了标准化基准，还通过深入揭示不同模型在特定风险维度上的脆弱性，推动了安全对齐技术的发展，对促进人工智能的负责任部署具有重要影响。

当前挑战

ALERT数据集致力于解决大型语言模型在安全对齐领域的核心挑战，即如何系统识别并量化模型在对抗性场景下生成有害内容的风险。其构建过程面临多重挑战：首先，在数据收集阶段，需从海量人类偏好数据中精准筛选出具有危害性的指令，并克服语义模糊性导致的分类困难；其次，为保障分类体系的完备性与时效性，需持续整合新兴政策法规（如欧盟《人工智能法案》）并动态调整风险类别；此外，对抗性数据增强策略的设计需平衡攻击的多样性与真实性，以模拟复杂现实场景中的恶意诱导行为。这些挑战共同凸显了构建全面、可靠安全评估基准的复杂性。

常用场景

经典使用场景

在大型语言模型安全评估领域，ALERT数据集通过红队测试方法，为研究者提供了一个系统化的基准平台。该数据集精心构建了超过45,000条涵盖六大风险领域的对抗性指令，其核心应用场景在于对各类开源与闭源语言模型进行多维度的安全漏洞探测。通过模拟真实场景中的恶意提问与对抗性攻击策略，研究者能够量化模型在仇恨言论、犯罪策划、违禁物质、性内容、自残行为及非法武器等敏感话题上的防御能力，从而绘制出模型安全性能的详细图谱。

实际应用

在实际部署层面，ALERT数据集为人工智能产品的安全审计与合规性检查提供了关键工具。开发团队可利用该数据集对即将上线的语言模型进行压力测试，提前发现并修复可能引发法律与伦理风险的安全漏洞。其细粒度分类体系允许企业根据不同地区法规（如欧盟《人工智能法案》）定制化评估方案，灵活排除或强调特定风险类别。此外，数据集衍生的直接偏好优化三元组为模型的安全微调提供了高质量数据，助力企业开发出既安全又实用的AI助手，降低产品因有害内容生成而导致的声誉与法律风险。

衍生相关工作

ALERT数据集催生了一系列围绕大型语言模型安全增强的衍生研究。其构建的DPO数据集直接促进了基于人类反馈的安全对齐技术发展，为偏好优化算法提供了大规模、高质量的训练资源。数据集的细粒度分类法启发了后续研究构建更贴合具体应用场景（如医疗、金融）的领域专用安全评估基准。同时，其公开的对抗性攻击策略（如后缀注入、越狱攻击）为对抗性训练和鲁棒性提升研究提供了丰富的攻击样本，推动了针对新型对抗性攻击的防御机制探索，形成了从评估到加固的完整研究闭环。