GAMMAF

GAMMAF是由马德里卡洛斯三世大学提出的开源基准测试平台，旨在生成合成多智能体交互数据集并评估图异常检测模型的性能。该数据集通过模拟不同网络拓扑结构下的智能体辩论动态构建，包含带属性的交互图结构数据，支持自定义文本处理和嵌入生成。框架采用双管道设计，首阶段生成训练数据，次阶段动态评估防御模型，适用于检测LLM多智能体系统中的对抗性节点传播攻击，为安全研究提供标准化测试环境。

GAMMAF is an open-source benchmark platform proposed by the Carlos III University of Madrid, which is designed to generate synthetic multi-agent interaction datasets and evaluate the performance of graph anomaly detection models. The platform constructs these datasets by simulating the debate dynamics of agents across diverse network topologies, which contain attributed interactive graph-structured data and support custom text processing and embedding generation. The framework adopts a dual-pipeline architecture: the first stage generates training datasets, while the second stage dynamically evaluates defense models. It is tailored for detecting adversarial node propagation attacks in LLM-powered multi-agent systems, offering a standardized test environment for security research.

原始信息汇总

GAMMAF 数据集概述

核心定位

GAMMAF（Graph-Based Anomaly Monitoring Benchmarking for LLM Multi-Agent Systems）是一个面向大语言模型多智能体系统的图基异常监控基准框架。该框架并非一种新的防御方法，而是一个评估架构，用于生成合成多智能体通信数据并基准测试拓扑引导的防御策略。

主要功能

1. 生成合成多智能体通信数据（辩论）：支持在不同图拓扑结构上生成智能体之间的辩论数据。
2. 基准测试拓扑引导的防御：在实时推理过程中检测和隔离恶意智能体。

数据生成管道

训练数据生成（Pipeline 1）

• 入口文件：TrainDataGeneration.py
• 输出：包含每个拓扑辩论轨迹的 pickle 文件（默认路径：data/train-data.pkl）
• 处理流程：运行辩论，并将智能体的推理字段嵌入为句子级和令牌级嵌入向量
• 配置：通过YAML配置文件设置辩论参数（智能体数量、恶意智能体数量、最大轮数、共识阈值等）

防御基准测试（Pipeline 2）

• 入口文件：MainEvaluation.py
• 处理流程：
  1. 加载防御模型训练器
  2. 训练每个防御模型
  3. 运行实时多智能体辩论，每轮调用防御模型预测以标记和隔离智能体
• 输出：包含评估结果的JSON文件

核心配置参数

生成配置（Generation）

参数	说明
num_agents	多智能体系统中的智能体数量
num_malicious	恶意智能体数量（无监督训练数据设为0）
max_rounds	每项任务的最大辩论轮数
consensus_threshold	停止辩论的共识阈值
n_questions	每种固定拓扑（树、链、星）的问题数量
n_questions_random_topo	随机拓扑的问题数量

评估配置（Evaluation）

参数	说明
num_agents	智能体数量（默认5）
num_malicious_agents	恶意智能体数量（默认2）
max_rounds	最大辩论轮数（默认3）
top_k_defense	防御模型的Top-K选择（默认2）
num_questions	每种固定拓扑的问题数量

支持的数据集与扩展

内置数据集加载器

• MMLU（MMLULoader）
• GSM8K（GSM8KLoader）

扩展能力

1. 新增防御架构：在 defense-models/ 目录下创建Python文件，实现 Master 类和 predict 方法
2. 新增模型输出处理：自定义解析逻辑（parse_model_output）和嵌入处理（文本处理器类）
3. 新增任务数据集：
   • 方式A：在 DatasetManager.py 中添加新加载器类（需定义 TAG 字段）
   • 方式B：在外部Python文件中定义问题加载器，通过配置指定路径和类名
4. 新增提示模板：修改 prompts/ 目录下的JSON文件，支持自定义占位符

技术依赖

• Python版本：3.11（推荐）
• LLM后端：兼容OpenAI API的端点（远程或本地）
• 可选加速：SentenceTransformers嵌入在GPU上运行更快

引用信息

如需引用本框架，请按照仓库中的引用格式进行。

搜集汇总

数据集介绍

构建方式

GAMMAF（基于图的大语言模型多智能体系统异常监控框架）是一个开源的基准测试平台，其构建方式依托于两条相互依存的流水线。在训练数据生成阶段，框架通过模拟不同网络拓扑（如链式、树状、随机结构）下的智能体辩论，将交互过程捕获为属性化图，其中节点代表智能体，边表示通信通道，并利用句子嵌入模型将推理内容映射至向量空间。在防御系统基准测试阶段，框架在实时推理轮次中动态隔离被标记的对抗节点，以此评估防御模型在主动多智能体环境中的效能。这种模块化设计允许研究者定制拓扑、任务数据集及文本后处理流程，确保数据生成与评估的透明性与可复现性。

特点

GAMMAF的核心特点在于其标准化、可扩展的架构设计。它并非提出新防御机制，而是提供了统一的评估环境，填补了该领域缺乏标准化基准测试的空白。框架支持多种网络拓扑与任务基准（如MMLU-Pro、GSM8K），并能模拟包括提示注入在内的多样化对抗威胁。其关键创新在于将智能体的逻辑推理与最终答案解耦，使防御模型关注论证模式而非简单多数决策。此外，框架具备动态拓扑更新能力，可在评估阶段根据异常检测结果实时修剪通信边，从而模拟真实防御场景下的信息流隔离。实验表明，该框架具备高实用性、拓扑可扩展性及执行效率。

使用方法

研究人员可通过GAMMAF进行端到端的防御模型开发与评估。使用流程包括：首先配置网络拓扑、智能体数量及任务数据集（支持自定义），随后在训练数据生成阶段运行无对抗智能体的协作辩论以获取基准交互图；接着引入恶意智能体并设定攻击策略（如协调误导至错误答案），在评估阶段加载预训练的防御模型（如BlindGuard或XG-Guard）进行实时检测。框架自动输出攻击成功率、检测率、感染率等综合统计指标，并支持与无防御基线进行对比。由于训练数据可持久化存储，研究者无需重复调用大模型即可迭代优化防御架构，显著降低计算与时间成本。

背景与挑战

背景概述

随着大语言模型（LLM）被赋予外部工具与可检索记忆，其智能体能力大幅提升，进而催生了多智能体系统（MAS）的蓬勃发展。然而，智能体间的协作网络在增强问题解决能力的同时，也显著扩大了攻击面，使系统易受提示注入、恶意传播等新兴威胁的侵袭。为此，卡洛斯三世大学的Pablo Mateo-Torrejón与Alfonso Sánchez-Macián于2026年提出了GAMMAF框架——一个面向LLM多智能体系统的图基异常监控基准平台。该框架旨在填补领域内缺乏标准化、可复现评估环境的空白，通过生成合成交互数据集并提供统一的防御机制评测架构，为拓扑感知型安全模型的研发与比较奠定了坚实基础，迅速成为推动LLM-MAS安全研究的关键基础设施。

当前挑战

GAMMAF框架所应对的核心挑战在于多智能体协作网络中的安全脆弱性。首先，传统防御方法大多基于单一智能体的输出进行检测，忽略了智能体间拓扑连接所蕴含的全局与局部上下文信息，导致对协同式攻击的检测率偏低。其次，构造高保真训练数据时，需模拟真实、多样的对话轮次与网络拓扑结构，而这涉及高昂的LLM推理成本，如何在保证数据多样性的同时控制资源开销成为一大难题。此外，评测阶段需在动态环境中实时隔离被标记的恶意节点，但防御模型间的差异会导致通信拓扑分叉，进而引发指数级增长的LLM调用需求，显著增加评测的延迟与计算负担。如何平衡评估真实性与计算可行性，是GAMMAF必须持续优化的关键瓶颈。

常用场景

经典使用场景

在大型语言模型赋能的未来多智能体系统中，智能体间的协作依赖于复杂的网络拓扑结构，而异常攻击可通过通信链路迅速蔓延。GAMMAF的核心用途在于为研究人员提供一个标准化的图基异常检测基准测试平台，通过合成包含良性交互与对抗性攻击的多轮辩论数据集，模拟链式、树状、星型及随机拓扑下的智能体协作场景，从而系统性地评估各类防御模型对恶意节点的识别与隔离能力。

衍生相关工作

基于GAMMAF框架，研究者已催生了多个突破性工作：G-Safeguard率先利用图神经网络实现节点级异常分类；BlindGuard通过合成噪声样本实现零样本异常检测；XG-Guard则引入双层图编码机制捕捉细粒度语义偏差。这些工作均在GAMMAF提供的标准环境下验证其有效性，并推动了从静态防御到动态拓扑自愈的范式演进，为构建可信任的LLM多智能体生态系统提供了关键支撑。

数据集最近研究

最新研究方向

当前，基于图神经网络的多智能体系统安全防御已成为大语言模型领域的前沿热点。GAMMAF框架的提出，正是为了应对LLM多智能体系统中日益严峻的提示注入、恶意通信传播等安全威胁，通过构建标准化、可复现的图结构异常监测基准平台，填补了该领域系统性评估工具的空白。该研究将多智能体协作建模为属性图，利用网络拓扑信息与节点语义特征相结合的方式，训练无监督异常检测模型，并在动态推理过程中实现对抗节点的实时隔离与拓扑剪枝。实验表明，采用XG-Guard和BlindGuard等基线防御机制后，系统攻击成功率最高可降低35%以上，恶意代理检测率超过90%，同时通过促进早期共识显著降低了大模型推理的运营成本。GAMMAF不仅为多智能体系统的安全性评估提供了可扩展的工程化范式，更推动了图异常检测技术在大规模语言模型协作环境中的实际部署与可信应用。

相关研究论文

• GAMMAF: A Common Framework for Graph-Based Anomaly Monitoring Benchmarking in LLM Multi-Agent Systems

  马德里卡洛斯三世大学 · 2026年