AEGIS

AEGIS是一个用于检测多智能体系统错误的大规模数据集和基准测试。它提供系统生成的故障场景，具有可验证的真实标签，涵盖多个多智能体系统框架，支持开发和评估鲁棒的错误检测方法。数据集包含基于MAST分类法的14种故障模式，包括规范问题、智能体间不对齐和任务验证失败等类别

AEGIS is a large-scale dataset and benchmark for detecting errors in multi-agent systems. It provides system-generated fault scenarios with verifiable ground-truth labels, covers multiple multi-agent system frameworks, and supports the development and evaluation of robust error detection methods. The dataset includes 14 fault modes based on the MAST taxonomy, covering categories such as specification issues, inter-agent misalignment, and task validation failures.

原始信息汇总

AEGIS 数据集概述

数据集简介

AEGIS 是一个用于多智能体系统（MAS）错误检测的大规模数据集和基准测试。它提供系统生成的故障场景，并具有可验证的真实标签，涵盖多个多智能体系统框架，支持开发和评估鲁棒的错误检测方法。

核心组件

错误注入工厂

• 提示注入：修改智能体输入以触发特定错误
• 响应破坏：直接操纵智能体输出
• 上下文感知攻击：根据任务域和智能体角色调整注入策略

多智能体系统封装器

• DyLAN：基于动态图的智能体交互
• AgentVerse：基于角色的分层协作
• LLM Debate：多智能体辩论机制
• MacNet：可配置网络拓扑
• Magnetic-One：编排器-执行器模式

错误分类法

基于 MAST 分类法支持 14 种故障模式：

规范问题（FM-1.x）

• 任务规范偏差
• 角色规范偏差
• 添加冗余步骤
• 删除对话历史
• 删除终止条件

智能体间错位（FM-2.x）

• 重复已处理任务
• 使请求模糊
• 偏离主要目标
• 隐藏重要信息
• 忽略其他智能体
• 不一致推理

任务验证失败（FM-3.x）

• 过早终止
• 删除验证步骤
• 不正确验证

数据集结构

AEGIS/ ├── aegis_core/ # 核心 AEGIS 框架 │ ├── malicious_factory/ # 错误注入系统 │ ├── agent_systems/ # MAS 封装接口 │ ├── utils/ # 工具函数 │ └── core/ # 核心检测模块 ├── mas_frameworks/ # 多智能体系统实现 │ ├── agentverse/ # AgentVerse 框架 │ ├── dylan/ # DyLAN 框架 │ ├── llm_debate/ # LLM Debate 框架 │ ├── macnet/ # MacNet 框架 │ └── ... # 其他 MAS 框架 ├── magnetic_one/ # Magnetic-One 特定集成 ├── configs/ # 配置文件 ├── examples/ # 使用示例 ├── evaluation/ # 评估工具 └── scripts/ # 辅助脚本

评估方法

• AEGIS-Bench 评估
• Who&When 基准测试评估

引用信息

bibtex @article{aegis2025, title={AEGIS: Automated Error Generation and Identification for Multi-Agent Systems}, author={Fanqi Kong, Ruijie Zhang, ...}, journal={arxiv}, year={2025} }

搜集汇总

数据集介绍

构建方式

在构建AEGIS数据集的过程中，研究团队采用了系统化的错误注入方法，通过恶意工厂模块在多智能体系统框架中植入预设的故障模式。该过程涉及对智能体输入进行提示注入、对输出进行响应篡改，并实施基于任务领域和角色自适应的上下文感知攻击。数据集覆盖了包括DyLAN、AgentVerse、LLM Debate在内的多种主流多智能体架构，确保了错误场景的多样性和真实性。

特点

AEGIS数据集的核心特征在于其基于MAST分类法构建的14种系统化故障模式，涵盖规范偏离、智能体间失准及任务验证失败三大类别。数据集提供了可验证的真实标签，支持对多智能体系统错误检测方法的开发与评估。其跨框架兼容性允许研究者在统一基准下比较不同系统的鲁棒性，为多智能体可靠性研究提供了标准化实验环境。

使用方法

使用者可通过配置模型API密钥和环境变量快速接入AEGIS系统，利用提供的脚本接口在特定多智能体框架中注入错误并生成检测数据。评估模块支持在AEGIS-Bench和Who&When等基准测试上进行模型性能验证。数据集配套的示例代码展示了从基础错误注入到多框架对比的完整工作流程，为研究者提供了即插即用的实验平台。

背景与挑战

背景概述

多智能体系统（MAS）作为人工智能领域的重要分支，近年来在复杂任务协同与决策中展现出巨大潜力。AEGIS数据集由研究团队于2025年创建，旨在系统化地生成多智能体交互过程中的错误场景，并提供可验证的真实标签。该数据集覆盖AgentVerse、DyLAN、LLM Debate等多个主流MAS框架，通过构建标准化错误注入与检测基准，显著提升了多智能体系统的鲁棒性研究与评估水平，为智能体协作可靠性研究提供了关键基础设施。

当前挑战

多智能体系统错误检测面临核心挑战包括：智能体间复杂交互导致的错误传播难以追踪，动态环境中的错误模式具有高度异构性，以及现有评估框架缺乏统一错误分类标准。数据集构建过程中需克服多框架兼容性适配、错误注入策略的保真度控制，以及大规模人工验证的成本优化等工程挑战，确保生成错误的真实性与可复现性。

常用场景

经典使用场景

在多智能体系统研究领域，AEGIS数据集通过系统化生成的故障场景与可验证的真实标签，为错误检测方法的开发与评估提供了标准化基准。该数据集支持对多种MAS框架（如DyLAN、AgentVerse等）进行错误注入实验，涵盖任务规范偏差、智能体间协作失调及验证失败等典型故障模式，成为评估多智能体系统鲁棒性的核心工具。

衍生相关工作

基于AEGIS数据集衍生的经典研究包括多智能体故障诊断算法优化、动态错误检测框架设计以及跨框架鲁棒性对比分析。这些工作通过利用数据集提供的标准化故障样本，开发了基于深度学习的异常检测模型和实时监控系统，进一步拓展了多智能体系统可靠性研究的深度与广度，形成了一系列具有影响力的学术成果。

数据集最近研究

最新研究方向

随着多智能体系统在复杂任务中的广泛应用，其可靠性问题日益凸显。AEGIS数据集通过系统化生成可验证的故障场景，为多智能体错误检测提供了大规模基准测试平台。当前研究聚焦于智能体间协作偏差、任务规范偏离及验证机制失效等核心问题，结合动态图交互、层次化角色协作等前沿框架，推动鲁棒性检测算法的发展。该数据集通过标准化错误注入与多框架支持，显著提升了智能体系统在真实场景中的容错能力，为构建可信人工智能系统提供了关键支撑。