AEGIS
收藏资源简介：
AEGIS是一个用于检测多智能体系统错误的大规模数据集和基准测试。它提供系统生成的故障场景，具有可验证的真实标签，涵盖多个多智能体系统框架，支持开发和评估鲁棒的错误检测方法。数据集包含基于MAST分类法的14种故障模式，包括规范问题、智能体间不对齐和任务验证失败等类别
AEGIS is a large-scale dataset and benchmark for detecting errors in multi-agent systems. It provides system-generated fault scenarios with verifiable ground-truth labels, covers multiple multi-agent system frameworks, and supports the development and evaluation of robust error detection methods. The dataset includes 14 fault modes based on the MAST taxonomy, covering categories such as specification issues, inter-agent misalignment, and task validation failures.
AEGIS 数据集概述
数据集简介
AEGIS 是一个用于多智能体系统（MAS）错误检测的大规模数据集和基准测试。它提供系统生成的故障场景，并具有可验证的真实标签，涵盖多个多智能体系统框架，支持开发和评估鲁棒的错误检测方法。
核心组件
错误注入工厂
- 提示注入：修改智能体输入以触发特定错误
- 响应破坏：直接操纵智能体输出
- 上下文感知攻击：根据任务域和智能体角色调整注入策略
多智能体系统封装器
- DyLAN：基于动态图的智能体交互
- AgentVerse：基于角色的分层协作
- LLM Debate：多智能体辩论机制
- MacNet：可配置网络拓扑
- Magnetic-One：编排器-执行器模式
错误分类法
基于 MAST 分类法支持 14 种故障模式：
规范问题（FM-1.x）
- 任务规范偏差
- 角色规范偏差
- 添加冗余步骤
- 删除对话历史
- 删除终止条件
智能体间错位（FM-2.x）
- 重复已处理任务
- 使请求模糊
- 偏离主要目标
- 隐藏重要信息
- 忽略其他智能体
- 不一致推理
任务验证失败（FM-3.x）
- 过早终止
- 删除验证步骤
- 不正确验证
数据集结构
AEGIS/ ├── aegis_core/ # 核心 AEGIS 框架 │ ├── malicious_factory/ # 错误注入系统 │ ├── agent_systems/ # MAS 封装接口 │ ├── utils/ # 工具函数 │ └── core/ # 核心检测模块 ├── mas_frameworks/ # 多智能体系统实现 │ ├── agentverse/ # AgentVerse 框架 │ ├── dylan/ # DyLAN 框架 │ ├── llm_debate/ # LLM Debate 框架 │ ├── macnet/ # MacNet 框架 │ └── ... # 其他 MAS 框架 ├── magnetic_one/ # Magnetic-One 特定集成 ├── configs/ # 配置文件 ├── examples/ # 使用示例 ├── evaluation/ # 评估工具 └── scripts/ # 辅助脚本
评估方法
- AEGIS-Bench 评估
- Who&When 基准测试评估
引用信息
bibtex @article{aegis2025, title={AEGIS: Automated Error Generation and Identification for Multi-Agent Systems}, author={Fanqi Kong, Ruijie Zhang, ...}, journal={arxiv}, year={2025} }
