TBAC Research Datasets

该仓库包含用于评估代理AI系统任务基于访问控制（TBAC）语义检查层的开源数据集和生成管道。数据集包括单轮任务工具匹配数据集和多轮对话工具匹配数据集，以及12个企业MCP服务器的工具模式定义。

This repository houses open-source datasets and generation pipelines for evaluating the Task-Based Access Control (TBAC) semantic checking layer of agent AI systems. The datasets include single-turn task-tool matching datasets, multi-turn dialogue-tool matching datasets, as well as tool schema definitions for 12 enterprise MCP servers.

原始信息汇总

好的，这是该数据集的详情总结。

数据集概述

该数据集及其生成管道支持一篇关于基于任务的访问控制（TBAC） 的论文，用于代理型AI系统的零信任运行时强制框架。该框架结合了确定性控制（消息流的结构和数据完整性检查）与语义控制（从多轮对话中提取任务并进行任务-工具匹配）。

核心数据集

所有数据均存储在 data/ 目录下，包含三个主要部分：

1. 任务-工具（Task-Tool）数据集

   • 一个经过严格筛选的单轮任务-工具数据集，是对 ASTRA 数据集的扩展。
   • 生成方式：通过5个前沿大语言模型的自动共识，再经过5位独立人工标注者的一致性验证。
   • 标签类型：relevant-seed、relevant、irrelevant、irrelevant-external。

2. 对话-工具（Conversation-Tool）数据集

   • 一个多轮对话-工具匹配数据集，通过两种互补策略生成：
     • 增强策略（Augmented）：通过对输入样本的用户风格、助手风格和工具选择进行确定性变化，生成8种受控的对话变体。
     • 多智能体策略（Multi-Agent）：使用三个大语言模型驱动的智能体（用户、助手、工具模拟器）模拟更自然、更多样化的对话。提供GPT-4o和GPT-5.2两个模型变体。

技术细节

• MCP服务器：提供了12个企业级MCP服务器的工具模式定义，涵盖Atlassian、Azure、GitHub、Grafana、MongoDB、Stripe等，每个包含10-90个工具。
• 数据规模
  • 任务-工具（ASTRA）数据集：验证集1,136个样本，测试集935个样本。
  • 增强对话-工具数据集：验证集3,956个样本，测试集3,242个样本。
  • 多智能体对话-工具数据集：验证集2,272个样本，测试集1,870个样本。
• 数据格式
  • 任务-工具样本：JSON格式，包含自然语言任务描述、测试工具（名称与描述）、相关性标签及整理元数据。
  • 对话-工具样本：JSON格式，包含多轮对话（2-10条消息）和工具调用信息。
• 可追溯性：每个样本都包含生成元数据（变体参数、源样本链接、大语言模型审查结果）。被丢弃的样本会单独保存并附有拒绝原因，便于事后分析。

项目结构

仓库目录结构如下：

• code/conversation_tool_generation/：包含数据集生成管道（增强策略和多智能体策略）。
• data/mcp_servers/：MCP服务器工具配置文件。
• data/task_tool/：整理后的任务-工具数据集及其被丢弃的样本。
• data/conversation_tool/agentic/：多智能体策略生成的对话-工具数据集。
• data/conversation_tool/augmented/：增强策略生成的对话-工具数据集及其被丢弃的样本。

搜集汇总

数据集介绍

构建方式

在零信任代理型人工智能的安全架构背景下，TBAC Research Datasets围绕混合运行时执行框架中的语义检查层展开建设。数据集构建依托两种互补的生成策略：确定性增强策略通过组合用户偏航、助手偏航与工具选择三个维度，为每个输入样本生成8种受控的多轮对话变体；多智能体系统策略则利用三个分别扮演用户、助手与工具模拟器的语言模型智能体，在状态机驱动下生成更具自然交互性的多样化对话。所有对话数据均以OpenAI API格式存储，并附带完整的标签信息与生成元数据。任务-工具数据集则基于ASTRA进行扩展，经由5个前沿大语言模型标注与5名人工验证者的逐条审查，确保标注质量。

特点

该数据集的核心特色在于双重对话生成策略的协同设计。确定性增强策略提供了结构可控、变量明确的标注样本，便于进行消融实验与归因分析；多智能体策略则生成更接近真实场景的交互流，增强了数据集的生态效度与泛化能力。数据集涵盖12个企业级MCP服务器的工具模式定义，覆盖从10至90个不等的工具，具有高度的领域覆盖性与实用性。更为重要的是，每个样本均携带完整的溯源信息与筛选记录，被淘汰的样本亦被保留并注明原因，支持事后分析与过滤管道的可审计性。任务-工具数据集采用四类细粒度标签，为语义匹配评估提供了更精准的基准。

使用方法

数据集以JSON格式分别存放于data/task_tool与data/conversation_tool目录下，按验证集与测试集独立划分。用户可直接加载这些文件进行任务-工具匹配或对话-工具匹配的相关研究。对于需要自定义实验的研究者，code目录提供了完整的生成管道代码，包含确定性增强策略与多智能体策略的实现，支持根据需求调整偏航参数、模型配置或过滤阈值。每个样本中的会话消息遵循OpenAI对话格式，便于直接接入现有评估框架。引用数据集时应按照给定BibTeX格式标注原始论文，以支持学术社群的可复现性建设。

背景与挑战

背景概述

在自主式人工智能系统（Agentic AI）迅猛发展的当下，任务型访问控制（Task-Based Access Control, TBAC）作为确保零信任架构中智能体安全行为的关键机制，日益受到学术界与工业界的广泛关注。由Cisco Systems旗下的Outshift团队于2026年提出的TBAC Research Datasets，是首个专门用于评估混合运行时零信任拦截层中语义检测环节的公开数据集。该数据集伴随论文《Hybrid Inspection and Task-Based Access Control in Zero-Trust Agentic AI》发布，核心研究问题聚焦于如何在多轮对话中通过任务提取与工具匹配实现细粒度的语义访问控制。数据集包含经严格筛选的单轮任务-工具配对、由确定性增强策略和多智能体系统生成的两种多轮对话-工具匹配数据集，以及12个企业级MCP服务器的工具架构定义，为自主智能体的安全研究提供了标准化的评测基准，对推动零信任访问控制技术在Agentic AI领域的理论创新与工程落地具有重要意义。

当前挑战

TBAC Research Datasets所应对的核心领域挑战在于：现有访问控制机制多依赖于固定的角色或属性，无法动态理解AI智能体在多轮交互中的真实意图与任务上下文，从而难以精准判定所调用工具的相关性或合规性。在数据集构建过程中，团队面临多重技术挑战：首先，单轮任务-工具标注需要融合5个前沿大语言模型（LLM）的自动共识与5名独立人工标注员的严格审核，以确保标签的准确性与一致性。其次，多轮对话的生成需分别采用确定性增强策略与多智能体系统策略，前者需精确控制用户与助手的主题漂移及工具选择模式，后者则需构建由用户、助手和工具模拟器三个LLM驱动的智能体状态机，以模拟自然且多样的人机协作场景。此外，数据质量保障体系要求保留被过滤样本并记录拒绝原因，为后续分析提供可追溯性，这进一步增加了数据管道设计的复杂度与管理的精细化要求。

常用场景

经典使用场景

在零信任代理型人工智能的安全治理领域，TBAC Research Datasets被广泛用于评估基于任务的访问控制（TBAC）框架中语义检测层的性能。该数据集提供了单轮任务-工具匹配样本与多轮对话-工具交互样本，研究者可利用其验证从多轮自然语言对话中准确提取用户意图并匹配合适工具的能力，尤其适用于对比分析确定性控制与语义控制在运行时强制执行中的协同效果。通过覆盖12个企业级MCP服务器的工具模式定义，该数据集为模拟真实企业环境下的零信任拦截层验证提供了标准化基准。

实际应用

在企业级AI助手与自动化工作流平台中，该数据集被用于训练和验证实时任务拦截系统。例如，当用户通过自然语言请求操作GitHub仓库、Stripe支付或MongoDB数据库时，系统需识别当前任务是否在授权范围内，并决定是否允许调用目标工具。基于该数据集开发的语义过滤器可部署于API网关或中间件层，实现零信任原则下的最小权限执行——仅当对话的语义上下文明确映射到已授权任务时，工具才被激活。这种机制已试用于金融、医疗等敏感领域的文档处理、工单自动化和数据查询场景。

衍生相关工作

基于该数据集，学术界已衍生出多项创新工作。例如，研究者利用其多视角对话变体（增强策略与多智能体策略）开发了任务语义匹配的对比学习框架，通过区分会话中工具调用的相关性来提升少样本场景下的泛化能力。另有工作聚焦于数据集中的时序偏离模式，提出基于状态机的动态策略修剪算法以抑制无关工具调用。此外，该数据集还催生了针对大型语言模型对齐性的基准测试任务，评估模型在伪装相关性场景下识别隐藏恶意意图的鲁棒性，相关成果已应用于下一代零信任审计系统的设计。