TAMAS

TAMAS（多智能体系统中的威胁和攻击）是一个基准，旨在评估多智能体大型语言模型系统的鲁棒性和安全性。它包括五个不同的场景，涵盖了六个攻击类型和211个工具，以及100个无害的任务。该数据集旨在帮助研究者系统地研究并提高多智能体LLM系统的安全性，从而解决在多智能体部署中存在的关键挑战和失效模式。

TAMAS (Threats and Attacks in Multi-Agent Systems) is a benchmark designed to evaluate the robustness and safety of multi-agent large language model (LLM) systems. It comprises five distinct scenarios, covering six attack types, 211 tools, and 100 harmless tasks. This dataset aims to help researchers systematically study and improve the safety of multi-agent LLM systems, thereby addressing critical challenges and failure modes existing in multi-agent deployments.

搜集汇总

数据集介绍

构建方式

TAMAS数据集通过系统化构建流程覆盖教育、法律、金融、医疗和新闻五大高风险领域，每个领域设计包含四个功能专精的智能体组成的多智能体系统。研究团队采用人工设计智能体角色与工具框架，结合大语言模型生成对抗性实例后经专家审核修正，最终形成包含300个对抗样本和100个无害任务的基准数据集。该数据集引入六类攻击向量，涵盖提示层、环境层与智能体层三个维度的安全威胁，并通过211种工具模拟真实场景中的功能交互与恶意行为。

特点

该数据集具备多维度评估特性，其核心在于首次系统性量化多智能体系统在协同作业时涌现的新型安全风险。通过六类攻击模式的设计，不仅涵盖传统单智能体的直接提示注入威胁，更独创性地引入拜占庭智能体、共谋智能体等多智能体特有攻击范式。数据集采用模块化架构，支持AutoGen与CrewAI三大交互配置的横向比对，并创新性提出有效鲁棒性评分指标，能够同时衡量系统在对抗环境下的安全性与正常任务中的效用表现。

使用方法

研究者可通过加载预设的智能体配置与工具集，在指定领域场景中执行对抗性测试流程。评估时需分别运行无害任务与攻击实例，记录智能体在集中式协调、顺序执行与协同交互三种模式下的行为轨迹。系统采用ARIA四维评估框架自动判定攻击成功率，结合工具调用验证与LLM评判机制确保结果可靠性。最终通过计算安全分数与任务完成率的调和均值，生成有效鲁棒性评分以指导系统优化方向。

背景与挑战

背景概述

随着大语言模型在工具调用、规划决策等自主智能任务中展现出卓越能力，多智能体系统逐渐成为解决复杂协作任务的关键技术。然而，现有安全基准多聚焦于单智能体场景，难以捕捉多智能体动态交互中的独特脆弱性。为填补这一空白，国际信息技术学院海得拉巴分校与微软研究院印度团队于2025年联合推出TAMAS基准，该系统涵盖教育、法律、金融、医疗、新闻五大高影响领域，通过构建300个对抗实例与100个无害任务，首次系统化评估多智能体框架在六类攻击模式下的安全表现，为推进可信多智能体系统发展奠定重要基础。

当前挑战

在领域问题层面，多智能体系统面临协同推理引发的攻击面扩张挑战，包括智能体共谋、行为矛盾等单智能体场景未见的系统性风险。构建过程中需攻克三大难题：一是需在保留任务效用的前提下设计覆盖提示层、环境层、智能体层的多维攻击场景；二是需协调不同架构的智能体交互协议，实现中央调度、顺序执行、动态协作三种配置的统一评估；三是需建立兼顾安全性与功能性的综合指标ERS，解决防御机制与任务效能间的平衡难题。

常用场景

经典使用场景

在人工智能安全研究领域，TAMAS数据集作为首个专门评估多智能体大语言模型系统对抗性风险的基准，其经典应用场景体现在系统性测试不同架构配置下的安全性能。该数据集通过五大高影响领域（教育、法律、金融、医疗、新闻）的300个对抗实例，为研究人员提供了评估智能体协作系统在真实场景中抵御六类攻击的能力，包括直接提示注入、间接提示注入、身份冒充等传统攻击，以及拜占庭智能体、共谋智能体等多智能体特有风险。

实际应用

在实际部署层面，TAMAS数据集为关键行业的多智能体系统安全审计提供了重要参考。金融机构可利用该数据集测试自动化交易系统的抗干扰能力，医疗领域能评估临床决策支持系统在遭受提示注入攻击时的稳定性。数据集涵盖的三种智能体交互配置（集中协调、顺序执行、协同协作）直接对应现实中的系统架构选择，帮助工程师识别不同配置下的单点故障风险。教育机构也可借助其评估在线测评系统防止恶意篡改的防护机制。

衍生相关工作

该数据集的发布催生了多智能体安全研究的新方向。基于TAMAS的评估方法，研究者开发了针对共谋攻击的动态检测算法，以及适用于分布式架构的拜占庭容错机制。在防御策略方面，衍生出基于行为异常的实时监控系统，能够识别智能体间的异常协作模式。同时，该数据集启发了对多层级防御体系的研究，包括在提示工程、环境隔离和智能体通信协议等层面的协同防护方案，为构建更安全的多智能体应用奠定了理论基础。