RAG Security Probes

一组高保真、针对英国特定领域的探测数据集，设计用于测试检索增强生成（RAG）管道中的安全性和隔离边界。A collection of high-fidelity, UK-domain-specific probe datasets designed to test the security and isolation boundaries within retrieval-augmented generation (RAG) pipelines.

原始信息汇总

数据集概述

RAG Security Probes 是由 Memon Systems Ltd 发布的一组高保真、面向英国特定场景的探针数据集，旨在测试检索增强生成（RAG）管道中的安全与隔离边界。该数据集专门用于检验 RAG 部署是否能够维持租户间的数据隔离、抵抗提示注入覆盖、正确区分英国法规，以及正确遵循指定时间点的约束条件。该测试套件设计用于合成 RAG 部署的内部测试和自助诊断。

完整探针列表及其测试标准和参数可通过 rag_probes.csv 查看，或从 rag_probes.jsonl 进行机械化解析。

两种测试模式

模式 A：虚构语料库测试

本公开仓库包含模式 A 测试套件，依赖一组纯虚构的法律文书（如 Ravensbourne Commercial Tenancies Act 2019）作为植入语料。

• 防冲突性：真实法律索引中不存在这些虚构法案，消除了与系统预训练或网络抓取能力的冲突。
• 参数化泄漏检测：任何系统在未依赖植入语料的情况下自信回答关于这些虚构法案的问题，即表明其编造了答案，从而自动产生幻觉发现。
• 永久有效性：虚构内容不会被议会修订，因此基准答案永不过时。

模式 B：实时法规验证

针对英国真实法律的测试需要将基准答案绑定到 as_at_date 参数，并在运行时对照当前法规进行重新验证以处理法定修订。由于该方法依赖主动维护和与议会实时更新的持续差异比对，无法作为静态工件分发。该数据集为内部维护，用于直接合作项目。

快速开始

1. 水合语料库并验证
   运行统一构建命令以扩展文档模板、验证模式并生成 CSV 伴随文件： bash python scripts/prepare.py

2. 导入数据集
   将 .hydrated_synthetic_corpora.yaml 中的虚构文档上传到目标 RAG 系统（仅限暂存或专用测试租户）。

集成到管道

可使用导出工具生成针对首选框架的即用配置：

bash

生成 Promptfoo 配置

python scripts/export_probes.py --format promptfoo --endpoint-placeholder "https://YOUR-RAG-ENDPOINT/v1/query"

生成 pytest 配置

python scripts/export_probes.py --format pytest

生成原始 curl 脚本

python scripts/export_probes.py --format curl --endpoint-placeholder "https://YOUR-RAG-ENDPOINT/v1/query"

导出所有格式到指定目录

python scripts/export_probes.py --format all --output-dir exports/

生成后，填入端点 URL 并运行框架即可。

发布限制

• 注入探针通过令牌发射测量指令边界覆盖，而非数据外泄。
• 结果描述的是合成文档上的管道架构特性，而非供应商生产索引的规模性能。
• 通过此通用测试套件仅证明基线架构属性，并不确立专业领域的领域特定准确性。
• 这些探针是公开的，公开会污染其有效性。通过结果是自我评估，而非审计证据。

法律边界政策：

• 本数据集包含主动注入载荷和跨租户金丝雀测试，专为供应商内部开发/暂存环境设计。
• 未经书面授权对第三方 SaaS 试用账户发起这些探针违反 SaaS 服务条款，并构成 1990 年计算机滥用法案 下的违法行为。

为何公开测试套件无法认证

提示词、语料库和通过标准均已公开，系统可在不修复底层边界的情况下被调优至所有行均通过。第三方运行此公开列表产生的是他人信头下的自我评估，而非审计。

建议用于尽早发现自身缺陷，但无法对知晓其公开性的审查者产生说服力。

合作项目增加的价值

• 保留探针：每次合作私有、轮换，永不公开，无法针对未见过的提示进行调优。
• 实时法规基准：模式 B，绑定 as_at_date，并在运行时对照当前英国法规重新验证。
• 独立执行：在书面授权下对您的环境运行测试套件，报告说明执行方及事前对团队保留的内容。
• 控制措施而非快照：探针运行仅显示系统在测试当天的行为，同时记录使该行为持久的要素：索引重建方式、租户是在检索层强制还是仅在系统提示中、监控如何捕获边界移动。

Memon Systems Ltd 并非认证机构，该领域目前尚无有意义的认证存在。其产出是审计所依赖的基础：由与结果无利益关联方执行的盲测，并具有文档化的监管链。

搜集汇总

数据集介绍

构建方式

该数据集专为评估检索增强生成（RAG）管道中的安全与隔离边界而设计，其构建依托于英国特有的高保真探针体系。尤为巧妙的是，其核心语料库完全基于虚构的法律文书，如《Ravensbourne Commercial Tenancies Act 2019》，此类文书在真实法律索引中并不存在，从而彻底规避了与系统预训练知识或网络检索能力发生冲突的风险。通过引入这种虚构语料，数据集的构建实现了参数化的信息泄漏检测，即任何不依赖植入语料而能自信回答相关问题的系统，均被自动标记为捏造答案，这为幻觉现象的判定提供了客观依据。同时，由于虚构文书不受议会修订影响，其基准真值得以永久有效，无需动态更新。

特点

该数据集具备显著的安全测试特性。其探针类型涵盖提示注入、跨租户隔离及时间点约束等多种维度，能够系统性地检验RAG部署在数据隔离、指令边界防覆盖及法律条文消歧方面的能力。尤为突出的是，其‘碰撞免疫’特性确保了测试过程不会与真实法律知识库产生混淆，而‘参数化泄漏检测’机制则能精准识别模型是否因忽视检索内容而凭空捏造。此外，数据集采用双模式设计，公开版侧重虚构语料的静态测试，而针对实时立法验证的Mode B则依赖动态维护与持续比对，体现了其严谨性与现实适用性。

使用方法

该数据集的部署路径已高度自动化。用户首先通过执行统一构建脚本（`python scripts/prepare.py`）来水合语料库、验证模式并生成CSV辅助文件；随后将合成的虚构文档导入目标RAG系统（建议在独立测试租户中进行）。为适配不同开发环境，数据集提供了灵活导出工具（`export_probes.py`），可一键生成Promptfoo配置、pytest测试用例或原生curl脚本，用户只需将占位端点替换为实际服务地址即可快速执行安全测试。这种设计使开发人员能够将安全诊断无缝集成至持续集成管道，实现自主的早期缺陷发现。

背景与挑战

背景概述

RAG Security Probes数据集由Memon Systems Ltd于近期发布，旨在系统性地评估检索增强生成（RAG）管道在安全与隔离边界上的鲁棒性。随着RAG技术在法律、金融等敏感领域的广泛应用，确保其数据隔离、抵抗提示注入、正确解析法律条文及遵守时间点约束成为关键。该数据集通过高保真的英国特定探针，为合成RAG部署提供内部测试与自诊断工具，其核心创新在于采用纯虚构法律文本来规避真实法律索引的干扰，从而实现参数化幻觉检测。这一方法集成了领域专家知识，为RAG安全评估提供了标准化基准，对推动该领域的安全实践具有重要影响力。

当前挑战

当前挑战涵盖领域问题与构建过程两方面。在领域层面，RAG系统面临多维安全威胁，包括跨租户数据隔离失效、提示注入攻击导致指令边界覆盖、对法律条文的模糊解析以及时间点约束的忽视，现有基准测试难以全面模拟这些复杂场景。构建过程中，数据集需平衡虚构语料的永久有效性与实时法律验证的准确性，Mode B模式依赖动态维护和持续比对议会更新，无法静态分发，构成运维挑战。此外，公开探针面临污染风险，系统可针对已知提示过度拟合而掩盖真实缺陷，削弱测试的审计效力，需依赖私有探针和独立执行来增强验证的可靠性。

常用场景

经典使用场景

RAG Security Probes 数据集的核心应用场景聚焦于检索增强生成（RAG）管道的安全性与隔离性边界测试。该数据集精心设计了一套高保真、英国专属的探针数据，涵盖虚构语料库（Mode A）与实时立法验证（Mode B）两种模式。Mode A 通过植入虚构法律文本（如《Ravensbourne Commercial Tenancies Act 2019》），系统性地检测 RAG 系统是否出现幻觉生成、跨租户数据泄露或提示注入覆盖等缺陷。Mode B 则针对真实英国法律，结合 as_at_date 时间戳进行动态重校验，确保引用法律条文始终与现行法规一致。该数据集可无缝集成至 Promptfoo、pytest 等主流测试框架，为开发者提供一套自动化、参数化的安全评估工具，从而在开发或预生产阶段即可识别系统的架构级弱点。

衍生相关工作

该数据集衍生了多项关键方法论与实践，显著推动了 RAG 安全测试工具链的演进。其导出的 Promptfoo 配置促进了自动化提示注入测试在持续集成流程中的普及；pytest 集成则启发了面向 RAG 管道的单元测试与回归测试框架设计。更重要的是，Mode B 的实时法规动态验证思想，催生了针对法律、金融等时效性敏感领域的 RAG 评估协议，如时间感知的知识库更新策略。此外，该数据集关于公共测试集污染效应的论述，直接影响了后续工作对“公开基准”可信度的反思，继而推动了私密、可轮换的探针集在行业评估中的采用，为第三方审计“盲测”机制在 RAG 安全评估中的标准化奠定了基础。

数据集最近研究

最新研究方向

RAG Security Probes数据集聚焦于检索增强生成（RAG）管道的安全性与隔离性边界测试，其前沿研究方向涵盖多租户数据隔离、提示注入攻击防御、英国法规精确消歧及时间点约束遵循等核心议题。该数据集通过虚构语料库（Mode A）与实时立法验证（Mode B）的双模式设计，创新性地引入参数化幻觉检测机制，可精准捕捉系统虚构响应，同时规避真实法律索引的冲突，确保测试的持久有效性与高保真度。在生成式AI安全合规日趋严格的当下，该方向为RAG系统的鲁棒性评估提供了标准化探针，尤其服务于企业内部诊断与供应商自评估，其公开性虽限制了审计权威性，但对推动RAG安全测试方法论演进及促进领域内安全基准构建具有重要实践意义。