AI-Secure/DecodingTrust-Agent-Platform

DecodingTrust-Agent Platform (DTAP) 是一个可控且交互式的AI代理红队测试平台数据集，涵盖14个真实世界领域（如浏览器、代码、CRM、客户服务、金融、法律、macOS、医疗、操作系统文件系统、研究、电信、旅行、Windows和工作流）和50多个模拟环境，复现了广泛使用的系统如Google Workspace、PayPal、Slack、Salesforce、Snowflake和Databricks。该数据集包含2,806个良性任务和3,876个恶意任务，恶意任务进一步按威胁模型（直接与间接）和风险类别（如数据窃取、危险操作、无效同意、错误信息幻觉、欺诈冒充、通用AI限制、拒绝用户请求、操纵性使用等）划分。每个任务提供配置、环境设置和结果验证文件，用于评估AI代理的安全性和性能。DecodingTrust-Agent Platform (DTAP) is a controllable and interactive red-teaming platform for AI agents, spanning 14 real-world domains (e.g., browser, code, CRM, customer-service, finance, legal, macOS, medical, os-filesystem, research, telecom, travel, windows, workflow) and 50+ simulation environments that replicate widely-used systems such as Google Workspace, PayPal, Slack, Salesforce, Snowflake, and Databricks. The dataset includes 2,806 benign tasks and 3,876 malicious tasks, with malicious tasks further partitioned by threat model (direct vs. indirect) and risk category (e.g., data-exfiltration, dangerous-actions, invalid-consent, misinformation-hallucination, fraud-impersonation, general-ai-restrictions, deny-user-requests, manipulative-use). Each task ships configuration, environment seeding, and outcome verification files for evaluating AI agent safety and performance.

搜集汇总

数据集介绍

构建方式

DecodingTrust-Agent Platform（简称DTAP-BENCH）是一个面向AI智能体的可控交互式红队测评平台，其数据集覆盖浏览器、代码、客户关系管理、金融、法律、医疗等14个真实世界领域，构建了超过50个仿真环境，这些环境复现了Google Workspace、PayPal、Slack、Salesforce、Snowflake及Databricks等广泛使用的系统。每个任务均配备完整的配置套件，包括描述任务规范与模型上下文协议服务器绑定的config.yaml、用于沙箱环境初始化的setup.sh，以及验证任务执行结果的judge.py脚本。任务分为良性（2,806个）和恶意（3,876个）两大类别，恶意任务进一步按威胁模型（直接或间接）和风险类别（如数据泄露、危险操作、欺诈冒充等）进行精细划分，形成了层次分明、结构化的评测体系。

特点

该数据集的核心特色在于其高度的可控性与交互性。每个任务均可在隔离的Docker沙箱中运行，确保测评过程的安全性与可复现性。恶意任务的细粒度分类设计，使研究者能够系统性地评估智能体在各类安全威胁下的鲁棒性，涵盖从数据窃取到操纵性使用的九种风险类型。数据集还内置了可验证的评判机制，良性任务通过task_success评估任务完成度，恶意任务则依据安全策略检验attack_success，从而提供客观、量化的安全性能度量。

使用方法

使用者可通过dtap命令行工具便捷地调用该数据集。安装decodingtrust-agent-sdk后，利用hf download命令下载数据集至本地，再通过dtap eval指令指定任务列表、智能体类型与模型参数，即可启动测评。该工具会自动按需拉取Docker沙箱，并解析任务记录。此外，用户也可通过HuggingFace Hub的Python API进行数据集的快照下载。对于进阶需求，数据集提供了JSONL格式的任务记录文件，每条记录包含领域、类型、任务标识符等信息，可程序化地解析并与目录结构映射，灵活支持自定义评测流程。

背景与挑战

背景概述

大型语言模型智能体在现实世界中的部署日益广泛，但其固有的安全性与可靠性隐患也随之暴露。针对这一迫切需求，2026年，由芝加哥大学Zhaorun Chen等学者领导的团队与多家机构合作，创建了DecodingTrust-Agent平台（DTAP）。该数据集作为平台核心，构建了覆盖浏览器、金融、医疗、法律等14个真实领域的超过50个模拟环境，系统性地复现了Google Workspace、Salesforce、Snowflake等广泛应用的业务系统。DTAP提出了规模达6,682个任务的基准测试，旨在系统评估与揭示AI智能体在复杂交互环境中的安全漏洞与风险行为，为智能体可靠性研究树立了里程碑式的评估框架。

当前挑战

DTAP直面AI智能体从理论到安全部署的鸿沟。在领域问题层面，智能体在完成多步操作时极易遭受提示注入攻击，导致数据泄露、危险操作、欺诈模仿等严重安全后果，现有评估体系缺乏对这类威胁的标准化、可复现测试。在构建层面，挑战尤为艰巨：需要为每个域设计可控、可交互、且真实反映业务逻辑的模拟环境；必须严格区分良性与恶意任务，并基于攻击模型（直接/间接）与风险类别对超过3,800个恶意任务进行精细分类；同时还需提供可验证的裁判判定脚本，确保每个任务的结果具有客观性和可复现性。

常用场景

经典使用场景

DecodingTrust-Agent-Platform（DTAP-BENCH）作为人工智能智能体红队测试领域的标志性基准数据集，其经典使用场景聚焦于对大规模语言模型驱动的智能体进行系统化的安全评估与鲁棒性验证。研究者借助该平台模拟的真实世界环境，如Google Workspace、PayPal、Salesforce等超过50个沙盒系统，系统地注入直接或间接的恶意提示，以考察智能体在面对数据泄露、欺诈冒充、危险操作等九类安全风险时的防御能力。该数据集提供了精细化的任务配置与可验证的评判脚本，使得每一轮红队测试均能产出客观的失败模式归因，从而为构建更安全的自主智能体系统奠定了可复现的评估基础。

解决学术问题

在学术界，DTAP-BENCH精准回应当前大语言模型智能体安全评估中缺乏标准化、多域红队测试范式的困境。传统基准往往局限于静态问答或单一领域，难以刻画智能体在复杂工具调用环境下的安全边界。该数据集通过覆盖浏览器、代码、CRM、财务、医疗等14个真实场景，并定义细粒度的威胁模型与风险类别，系统性地揭示了智能体在间接提示注入、权限滥用和操作幻觉等方面的脆弱性。其意义在于首次提供了可量化、可复现的多维安全评估框架，推动智能体对齐研究从理论安全规范迈向实证风险验证，深刻影响了后续关于智能体鲁棒性、可控性与可解释性的研究方向。

衍生相关工作

DTAP-BENCH的发布催生了一系列深具影响力的衍生工作。围绕其提供的威胁模型与任务配置，研究者相继提出了针对间接提示注入的防御策略（如Sandwich Defense），以及在多域沙盒中优化模型撤销行为与拒绝能力的对齐方法。此外，基于该数据集的评判逻辑，学界涌现出多种将任务成功率与安全性得分联合优化的强化学习范式，推动了智能体在复杂环境下的安全性微调技术发展。部分团队还借鉴其域划分与风险分类策略，构建了面向云端办公生态的专用安全评估套件，进一步拓展了该基准在智能体安全生态中的方法论辐射力。