Fujitsu/agentic-rag-redteam-bench

Agentic RAG红队数据集是一个包含成功对抗性提示和场景的测试专用语料库，旨在针对agnostic RAG系统（在适用的情况下为多模态）进行评估、诊断和研究。该数据集包含四种不同攻击类型的文件，每个文件都包含相应类型的攻击记录。数据集还包括图片污染攻击的艺术品和描述文件。所有数据均保持原始输出格式，且数据集不包含用于训练的模型。The Agentic RAG Red Teaming Dataset is a test-only corpus consisting of successful adversarial prompts and scenarios designed to evaluate, diagnose, and research agentic RAG systems (multimodal where applicable). The dataset includes four types of attack files, each containing records of the respective attack type. It also includes artifacts and descriptor files for image poisoning attacks. All data is preserved in the original output format, and the dataset does not include models for training.

搜集汇总

背景与挑战

背景概述

该数据集是ART-SafeBench v2.0.0，一个专为AI安全研究设计的对抗性基准测试，包含有害内容如提示注入和社会工程攻击，用于评估RAG和代理系统的鲁棒性。数据集规模为41,815条核心可再分发记录，攻击面覆盖文本中毒、图像中毒、直接查询和编排器攻击四类。数据集采用CC-BY-4.0许可，但部分扩展数据仅供研究使用且不可再分发，强调伦理和合法用途。