harpreetsahota/adversarial-prompts

该数据集基于论文《Explore, Establish, Exploit: Red Teaming Language Models from Scratch》中的示例，旨在测试语言模型在偏见、毒性和错误信息方面的表现。数据集包含37个训练示例，总大小为2366字节。这些提示（prompts）设计用于引发模型产生有毒或错误的响应，从而帮助研究人员和开发者评估和改进语言模型在处理敏感或复杂内容时的表现。

This dataset is based on examples from the paper *Explore, Establish, Exploit: Red Teaming Language Models from Scratch*, and aims to test the performance of language models in terms of bias, toxicity and misinformation. The dataset contains 37 training examples, with a total size of 2366 bytes. These prompts are designed to elicit toxic or erroneous responses from models, thereby helping researchers and developers evaluate and improve the performance of language models when handling sensitive or complex content.

原始信息汇总

语言模型测试数据集 📊🤖

数据集概述

• 特征:
  • 名称: Prompt
  • 数据类型: string
• 分割:
  • 名称: train
  • 字节数: 2366
  • 样本数: 37
• 下载大小: 2228
• 数据集大小: 2366
• 配置:
  • 配置名称: default
  • 数据文件:
    • 分割: train
    • 路径: data/train-*

数据集来源

该数据集基于论文 "Explore, Establish, Exploit: Red Teaming Language Models from Scratch" 中的表7和表8。这些表展示了如何通过提示引发语言模型（LMs）的偏见、毒性或无意义响应。

毒性和不实信息 🤬

这些提示源自使用CREAK数据集训练的分类器对GPT-3-text-davinci-002进行红队测试，旨在引发显示毒性或不实倾向的响应。

无意义响应 🤪

类似地，表8中的提示旨在测试语言模型对无意义或毒性内容的响应。这些最初用于使用ChatGPT-3.5-turbo标签训练的分类器对GPT-3-text-davinci-002进行测试。

数据集目的 🎯

该数据集旨在供研究人员和开发者测试其语言模型。特别适用于评估不同模型处理潜在问题内容（偏见、毒性或事实错误）的能力。

使用数据集 🛠️

欢迎使用此数据集评估任何语言模型的响应模式。它是识别语言模型在处理敏感或复杂内容方面可能需要改进的领域的宝贵资源。

目标 🎖️

旨在通过提供一个现成的测试和分析数据集，促进对使语言模型更安全、更可靠和更符合伦理责任的广泛研究。

搜集汇总

数据集介绍

构建方式

该数据集源自论文《Explore, Establish, Exploit: Red Teaming Language Models from Scratch》，其构建基于对大型语言模型进行红队测试的实证研究。具体而言，数据集的提示样本取自论文中表7和表8，这些提示被设计用于诱发模型产生偏见、毒性或荒谬回应。其中，毒性与非真实性提示通过使用基于CREAK数据集训练的分类器对GPT-3-text-davinci-002进行红队测试而生成；而无意义回应提示则经由ChatGPT-3.5-turbo标签训练的分类器对同一模型进行测试后提炼得出。最终，数据集共包含37个训练样本，以简洁的字符串形式存储于单一训练分割中。

特点

该数据集以精炼的规模与明确的目标导向著称，仅含37个精心挑选的对抗性提示，却覆盖了偏见、毒性、虚假信息及无意义回应等关键风险维度。每个提示均经过实证验证，能够有效暴露语言模型在处理敏感或复杂内容时的潜在缺陷。数据集结构简单，仅包含'Prompt'字段，便于快速集成至各类测试流程中。其核心价值在于为研究人员提供了一组高质量的探针，用以系统评估模型在安全性与可靠性方面的表现，尤其适用于红队测试场景。

使用方法

该数据集的使用极为便捷，用户可直接从HuggingFace加载默认配置的'train'分割，获取所有37个提示字符串。每个提示可作为输入直接提交至待测试的语言模型，通过分析模型生成的响应来评估其在偏见、毒性、真实性及连贯性等方面的表现。建议用户将模型输出与预期行为或基准对照，以识别需要改进的领域。该数据集适用于任何支持文本输入的语言模型，无需额外预处理，是进行模型安全审计与鲁棒性测试的即用型工具。

背景与挑战

背景概述

随着大型语言模型在自然语言处理领域的广泛应用，其潜在的安全性与伦理风险日益成为学术界关注的焦点。在此背景下，harpreetsahota等人于2023年构建了adversarial-prompts数据集，该数据集源自论文《Explore, Establish, Exploit: Red Teaming Language Models from Scratch》，旨在通过精心设计的对抗性提示，系统性地揭露语言模型在偏见、毒性及虚假信息生成方面的脆弱性。数据集基于对GPT-3-text-davinci-002模型的红队测试实践，结合CREAK数据集训练的分类器，提炼出37个高代表性的提示样本。这一工作为语言模型的安全性评估提供了标准化测试工具，推动了模型鲁棒性与伦理对齐研究的进展，在可信人工智能领域产生了重要影响。

当前挑战

该数据集所解决的领域问题在于，现有语言模型在面对复杂、敏感或具有误导性的输入时，常暴露出生成偏见、毒性内容或事实错误的倾向，而缺乏系统化的测试基准来量化此类风险。构建过程中面临的挑战包括：如何从红队测试中提炼出既能有效触发模型缺陷又具备普遍适用性的对抗性提示；如何确保提示样本覆盖多重风险维度（如毒性、不实信息、无意义输出），而非局限于单一类别；以及如何在有限样本量（仅37条）下保持测试的效度与可迁移性，避免因样本稀疏导致评估结果的片面性。这些挑战共同决定了数据集在安全评测中的实用性与可靠性。

常用场景

经典使用场景

该数据集专为语言模型的红队测试（Red Teaming）而设计，源自论文《Explore, Establish, Exploit: Red Teaming Language Models from Scratch》。其经典使用场景在于通过精心构造的对抗性提示（adversarial prompts），系统性地探测语言模型在偏见、毒性及虚假信息生成方面的脆弱性。研究者可利用这些提示对模型进行压力测试，观察其在面对敏感或复杂内容时的反应模式，从而量化模型的安全边界与伦理合规性。

衍生相关工作

该数据集衍生了一系列关于语言模型红队测试的经典工作，包括基于强化学习的对抗提示生成方法、多维度毒性评估框架，以及跨模型迁移性分析。其中，后续研究扩展了提示的多样性，引入动态对抗策略以模拟真实攻击场景；另有工作基于此数据集构建了自动化安全基准测试平台，推动了大模型安全领域的系统性评估。这些衍生工作共同促进了语言模型从脆弱性发现到防御机制设计的闭环研究范式。

数据集最近研究

最新研究方向

在大型语言模型安全性与鲁棒性研究的前沿，对抗性提示数据集成为红队测试的关键工具。该数据集源于《Explore, Establish, Exploit: Red Teaming Language Models from Scratch》论文，聚焦于通过精心设计的提示揭示模型在偏见、毒性及错误信息生成方面的脆弱性。当前研究热点集中于利用此类数据集进行模型对齐优化，例如结合CREAK等知识图谱增强分类器，以检测并缓解GPT-3等模型的有害输出。这一方向与AI伦理治理浪潮紧密相关，其意义在于推动语言模型从单纯追求性能转向安全性优先的范式转变，为负责任AI部署奠定实证基础。