GenAI Red Team Data

ActiveFence’s AI Security & Safety Prompt Feed includes a daily updated dataset of most relevant prompts designed to test the robustness of generative AI systems. Curated by expert red teamers & researches and grounded in real world abuse scenarios, this dataset feed includes multiple threat categories such as: prompt injection, jailbreaks, content policy evasion, data leakage exposure, etc. Prompts in this dataset are available across 100+ languages and modalities (text, image, audio), with structured metadata including threat type, severity, and use case tags. This feed is ideal for AI developers, AI security teams, and trust & safety operations, this feed supports automated testing, model evaluation, fine-tuning guardrails, and compliance readiness.

原始信息汇总

GenAI Red Team Data

概述

ActiveFence的AI安全与安全提示源包括每日更新的数据集，包含设计用于测试生成式AI系统鲁棒性的最相关提示。该数据集由专业红队和研究人员策划，基于现实世界滥用场景，涵盖多个威胁类别，如：提示注入、越狱、内容策略规避、数据泄漏暴露等。数据集中的提示支持100多种语言和模态（文本、图像、音频），并带有结构化元数据，包括威胁类型、严重性和用例标签。该数据源适用于AI开发者、AI安全团队以及信任与安全运营，支持自动化测试、模型评估、微调护栏和合规准备。

业务需求

机器学习

测试应用程序和模型，确保用户安全。

使用示例

展示零售聊天机器人围绕策略规避的提示

查找量身定制的提示，以测试特定应用程序的相关用例。例如：提取所有关于零售聊天机器人策略规避的对抗性提示，以降低财务风险（防止因欺诈性优惠券使用或未经授权的折扣而造成财务损失）。

类别

• AI & ML
• 数据工程
• 机器学习
• 安全

联系

• 销售：[e-mail]
• 支持：[e-mail]

文档

无具体文档链接提供。

刷新频率

每日

地理覆盖范围

全球，按国家细分

法律条款

标准

关于Activefence

ActiveFence是AI安全和安全解决方案的领先提供商，为在线体验和AI应用程序提供保护，每天保障超过30亿用户、顶级基础模型以及世界最大的企业和科技平台。作为主要技术公司和财富500强品牌的值得信赖的盟友，ActiveFence通过实时护栏和持续红队测试保护应用程序免受提示注入和其他攻击。凭借深入的威胁情报、无与伦比的有害内容检测和对117多种语言的支持，ActiveFence使组织能够保护其应用程序，在全球范围内提供引人入胜且值得信赖的体验，同时在所有威胁环境中安全、负责任地运营。

搜集汇总

背景与挑战

背景概述

该数据集由专家团队根据真实滥用场景构建，包含100多种语言和模态的测试提示，涵盖提示注入、越狱等威胁类型，附带威胁等级和用例标签，适用于AI安全测试、模型评估及合规准备。