AI-Secure/DTap-Bench-Agent-Trajectories

DecodingTrust-Agent Platform（DTAP-BENCH）是一个用于AI代理的可控交互式红队测试平台。该数据集完整收集了从评估DTap-Bench产生的代理轨迹，涵盖14个现实世界领域和50多个模拟环境，这些环境复制了广泛使用的系统，如Google Workspace、PayPal、Slack、Salesforce、Snowflake和Databricks。每个任务都提供了评估者所需配置，以启动沙箱、运行代理并验证结果——包括`config.yaml`（任务规范+MCP服务器绑定）、`setup.sh`（每个任务的环境初始化）和`judge.py`（可验证的结果检查）。数据集包含良性任务和恶意任务，恶意任务进一步按威胁模型（直接与间接）和风险类别（如数据外泄、危险操作、无效同意、错误信息幻觉、欺诈冒充、通用AI限制、拒绝用户请求、操纵使用等）划分。DecodingTrust-Agent Platform (DTAP-BENCH) is a controllable interactive red teaming test platform for AI Agents. This dataset comprehensively collects agent trajectories generated from evaluations performed on DTAP-BENCH, covering 14 real-world domains and over 50 simulated environments that replicate widely used systems such as Google Workspace, PayPal, Slack, Salesforce, Snowflake, and Databricks. Each task provides all necessary configurations for evaluators to launch sandboxes, run agents and validate results, including `config.yaml` (task specification + MCP server binding), `setup.sh` (environment initialization for each individual task), and `judge.py` (verifiable result checking). The dataset contains both benign and malicious tasks. Malicious tasks are further categorized by threat models (direct vs. indirect) and risk categories including data exfiltration, dangerous operations, invalid consent, misinformation hallucination, fraudulent impersonation, general AI limitations, refusing user requests, and manipulative usage, among others.

搜集汇总

数据集介绍

构建方式

DTap-Bench-Agent-Trajectories 数据集源自 DecodingTrust-Agent 平台，旨在为大语言模型智能体的红队测试提供可控、交互式的评估框架。该数据集覆盖 14 个真实世界领域与 50 余个仿真环境，包括 Google Workspace、PayPal、Slack 等主流系统。每个任务均包含三项核心配置：`config.yaml` 定义任务规范与 MCP 服务绑定，`setup.sh` 负责沙箱环境初始化，`judge.py` 则实现可验证的结果判定。恶意任务进一步按威胁模型（直接/间接）与风险类别（如数据泄露、危险操作等）进行精细划分，从而系统性地构建覆盖良性任务 2,806 项、恶意任务 3,876 项的大规模数据集。

特点

该数据集在智能体安全评估领域具有显著特色。其首要特征是真实性与复杂性：任务场景高度还原实际企业级系统，模拟了从客户关系管理到医疗、金融等多维度的复杂交互。其次，数据集内含双轨评估机制，良性任务用于衡量常规能力，而恶意任务则针对提示注入、欺诈冒充等典型安全威胁，实现了对智能体鲁棒性与安全性的全面检验。此外，每项任务均附带独立的 Docker 沙箱环境，支持可重复的离线评估，显著提升了基准测试的科学性与可复现性。

使用方法

该数据集提供了灵活的使用路径。推荐方式是通过 `dtap` 命令行工具，用户只需安装 `decodingtrust-agent-sdk` 并下载数据集，即可运行任务列表中的评估指令，如 `dtap eval --task-list benchmark/crm/benign.jsonl --agent-type openaisdk --model gpt-4o --max-parallel 4`。Python 用户亦可利用 `huggingface_hub` 的 `snapshot_download` 函数将数据集下载至本地。此外，数据集支持基于 JSONL 记录的任务解析，每条记录包含领域、类型与任务标识符，可便捷地映射至目录结构，便于集成到自定义评估流水线中。

背景与挑战

背景概述

DTap-Bench-Agent-Trajectories数据集由Zhaorun Chen等研究人员于2026年发布，隶属于DecodingTrust-Agent平台，旨在为大型语言模型驱动的智能体系统提供一个可控、交互式的红队测试基准。该数据集覆盖14个真实世界领域与50余种仿真环境，包括Google Workspace、PayPal、Slack、Salesforce等广泛使用的企业级系统，并通过精心设计的良性任务与恶意任务，系统性地评估智能体在复杂交互场景中的安全性与鲁棒性。作为首个聚焦于智能体安全性的综合性基准，DTap-Bench推动了AI安全领域从静态模型评估向动态环境交互评估的范式转变，为后续研究提供了标准化的评估框架与丰富的轨迹数据，对理解与防御智能体系统中的安全漏洞具有深远影响。

当前挑战

该数据集所解决的领域核心挑战在于，现有智能体系统缺乏针对多域、多任务环境下安全风险的全面评估机制，尤其是面对提示注入、数据泄露、欺诈模仿等高级威胁时的脆弱性。DTap-Bench通过设计6,682个细粒度任务，明确区分直接与间接威胁模型，覆盖九种风险类别，系统性量化了智能体在真实场景中的安全边界。构建过程中，研究者需在14个高度异构领域内同步搭建50余个模拟环境的沙箱与MCP服务器绑定，确保每个任务的可复现性与一致性；同时需在验证代码中精确区分任务成功与攻击成功，平衡良性任务与恶意任务的难度分布，避免概念泄漏或安全误报，这对任务设计、环境编排与评判逻辑的协调提出了极高要求。

常用场景

经典使用场景

DTap-Bench-Agent-Trajectories数据集最经典的使用场景在于对基于大语言模型的智能代理系统进行系统化的红队测试与安全评估。研究者可利用该数据集中涵盖的14个真实领域（如医疗、金融、法律、CRM等）和50余个模拟环境，针对代理在直接与间接威胁模型下的表现进行标准化评测。通过运行预定义的恶意任务（共计3,876个），能够深入考察代理在面对数据泄露、危险操作、欺诈冒充、误导性幻觉等风险类别时的脆弱性，从而为构建鲁棒且安全的AI代理系统提供关键性基准。

衍生相关工作

围绕DTap-Bench-Agent-Trajectories数据集，已涌现出一系列具有影响力的衍生研究工作。一方面，部分工作借鉴其威胁模型与任务结构，设计了更为精细的代理安全评估框架，例如将间接提示注入攻击推广至多轮对话场景或跨系统协作环境。另一方面，数据集提供的可执行模拟环境激励了对抗性样本生成方法的发展，研究者通过分析不同威胁类别下的代理失败模式，提出了针对性的防御策略，如基于安全策略的推理时监控与基于反馈的即时修复机制。此外，该数据集还催生了关于代理风险行为可解释性的探讨，探索如何利用轨迹数据揭示代理决策背后的漏洞根源，为构建可解释且安全的AI代理奠定基础。

数据集最近研究

最新研究方向

DTap-Bench-Agent-Trajectories数据集聚焦于大型语言模型驱动的智能体安全评估，紧扣红队测试与对抗性提示注入等前沿议题。通过覆盖14个真实世界领域及50余种模拟环境（如Google Workspace、PayPal、Salesforce等），该数据集成为了衡量智能体在直接与间接威胁模型下脆弱性的关键基准。其核心突破在于精细划分了数据泄露、危险操作、欺诈冒充等多种风险类别，并提供了可验证的自动化判决逻辑。当前研究热点正围绕利用该数据集对开源与闭源智能体系统进行系统性可信度评测展开，旨在揭示多步骤任务执行中隐藏的对抗性后门与不可信行为，从而推动更鲁棒的智能体安全架构设计与风险评估范式的演进。