Galtea-AI/galtea-red-teaming-clustered-data

Galtea Red Teaming: Non-Commercial Subset数据集是一个专门用于红队训练和大型语言模型安全性评估的对抗性提示集合。该数据集中的所有提示均来自非商业许可下的数据集，经过去重、格式统一和基于语义的自动聚类处理。每个条目包括对抗性指令、来源数据集和基于提示行为的数字聚类ID。该数据集按照行为聚类，使得LLM开发者能够对各种对抗性风格进行基准测试和鲁棒性测试。The Galtea Red Teaming: Non-Commercial Subset dataset is a collection of adversarial prompts designed for red teaming and large language model safety evaluation. All prompts are sourced from datasets under non-commercial licenses, and have been deduplicated, normalized, and automatically clustered based on semantic meaning. Each entry includes an adversarial instruction, the origin dataset, and a numeric cluster ID based on the prompt behavior. This behavioral clustering allows LLM developers to benchmark and test robustness against various adversarial styles.

搜集汇总

数据集介绍

构建方式

在大语言模型安全评估领域，对抗性提示数据集是红队测试的核心资源。Galtea Red Teaming: Non-Commercial Subset数据集通过汇聚多个非商业许可来源的对抗性提示，经过去重、格式规范化与语义聚类等自动化流程构建而成。每个样本包含提示文本、来源标注及基于行为语义的聚类编号，最终以CSV格式存储于non_commercial_dataset目录下。

特点

该数据集的核心特色在于其行为导向的聚类体系，将对抗性提示划分为六大类别：模糊请求、越狱与角色扮演攻击、金融欺诈、仇恨言论、暴力与非法活动以及隐私侵犯。这种结构化分类不仅揭示了提示的攻击意图，还为开发者提供了针对不同风险维度的精细化测试能力，从而全面评估模型在多样化对抗场景下的鲁棒性。

使用方法

研究者可通过Hugging Face的datasets库便捷加载该数据集，使用load_dataset函数指定仓库名称即可获取训练集。数据集提供prompt、source和cluster三个字段，便于用户按聚类标签筛选特定类型的对抗样本。该资源适用于非商业场景下的模型安全基准测试与对齐研究，但需注意其CC BY-NC 4.0许可禁止商业用途。

背景与挑战

背景概述

在大规模语言模型（LLM）迅猛发展的背景下，模型的安全性与对齐问题日益成为学术界与工业界关注的焦点。Galtea Red Teaming: Non-Commercial Subset数据集由Galtea AI团队于近期构建，旨在为LLM的红队测试与安全评估提供高质量、结构化的对抗性提示资源。该数据集的核心研究问题聚焦于如何系统性地识别和分类模型在面对恶意或边界性输入时的脆弱性，从而推动模型鲁棒性的提升。通过整合多个非商业许可的对抗性提示源，并进行去重、标准化与语义聚类，该数据集为研究者提供了涵盖模糊请求、越狱攻击、金融欺诈、仇恨言论、暴力违法及隐私侵犯等六大行为类别的测试样本，对LLM对齐领域的研究与评测具有重要的基准价值。

当前挑战

该数据集所应对的领域挑战主要在于LLM在面对多样化、语义复杂的对抗性提示时，缺乏系统化的评估框架与高覆盖率的测试样本。现有红队测试往往依赖人工构造或单一来源的提示集，难以全面覆盖真实场景中的攻击模式，导致模型安全漏洞难以被充分暴露。在数据集构建过程中，挑战则体现在多源数据的异构性处理上：不同数据集的格式、标签体系与语义粒度差异显著，需通过自动化聚类算法实现统一的行为分类，同时需确保聚类结果的语义可解释性与类别间的区分度。此外，在去重与标准化环节，如何在保留原始对抗意图的前提下消除冗余并维持提示的自然语言流畅性，亦是构建高质量基准数据集的关键难点。

常用场景

经典使用场景

在大型语言模型的安全对齐与鲁棒性评估领域，Galtea Red Teaming数据集被广泛用于对模型进行对抗性测试。该数据集汇聚了来自非商业许可来源的对抗性提示，经过去重、格式标准化和语义聚类，形成涵盖模糊请求、越狱角色扮演、金融欺诈、仇恨言论、暴力违法及隐私侵犯六大行为类别的测试集。研究者通过向目标模型注入这些精心构造的提示，系统性地评估模型在面对恶意诱导时的防御能力，尤其关注其是否能够拒绝生成有害内容或绕过安全护栏。这一经典使用场景为衡量LLM的安全边界提供了标准化基准，使得不同模型间的安全性能对比成为可能。

解决学术问题

该数据集有效解决了当前LLM安全研究中对抗性测试语料匮乏且分布不均的学术难题。以往的研究常依赖人工构造的少量样本，难以全面覆盖攻击向量的多样性。Galtea数据集通过语义聚类技术，将提示按攻击行为归类，使得研究者能够针对特定脆弱环节（如越狱攻击或隐私泄露）进行精细化的安全评估。这推动了对抗性鲁棒性理论的实证发展，帮助学界厘清模型在不同攻击模式下的失效边界，并为设计更稳健的对齐算法提供了数据驱动的实验基础，显著提升了安全评估的科学性与可复现性。

衍生相关工作

该数据集衍生了一系列聚焦于LLM安全对齐的经典工作。其中，研究者基于其聚类标签开发了针对性的防御策略，例如为越狱攻击类别设计动态提示过滤器，或为隐私侵犯类别构建差分隐私训练框架。此外，有工作利用该数据集的语义结构训练了对抗性提示检测器，实现了对未知攻击模式的泛化识别。还有学者以该数据集为基准，对比不同对齐算法（如RLHF与DPO）在六类攻击上的表现差异，进而提出混合对齐策略。这些衍生研究不仅深化了对LLM安全脆弱性的理解，也推动了对抗性训练与安全对齐技术的持续演进。