ASTRA扩展数据集; 对话工具数据集

ASTRA扩展数据集由思科系统团队构建，聚焦多轮对话场景下的工具调用语义对齐问题，包含自然语言任务与MCP服务器工具的标注配对数据。对话工具数据集则通过种子生成方法构建，涵盖多轮交互中相关与无关工具调用的对话样本，用于评估任务-工具语义匹配模型的精确率与召回率。数据生成流程结合了人工标注与合成技术，旨在解决分布式智能体协作中的动态授权安全挑战，为连续代理语义授权（CASA）框架提供基准测试支持。

The ASTRA Extended Dataset is constructed by the Cisco Systems team, focusing on the semantic alignment of tool invocation in multi-turn dialogue scenarios. It contains annotated paired data between natural language tasks and MCP server tools. The Dialogue Tool Dataset was built using a seed generation approach, covering dialogue samples with both relevant and irrelevant tool invocations during multi-turn interactions, and is utilized to evaluate the precision and recall of task-tool semantic matching models. Its data generation pipeline combines manual annotation and synthetic techniques, aiming to address the dynamic authorization security challenges in distributed AI agent collaboration, providing benchmark support for the Continuous Agent Semantic Authorization (CASA) framework.

搜集汇总

数据集介绍

构建方式

ASTRA扩展数据集的构建融合了多阶段自动化与人工校验的协同流程。研究者首先基于12个企业级MCP服务器的种子工具，利用五款前沿大语言模型（如Claude Sonnet 4.6、GPT-5.2等）生成包含自然语言任务、请求工具及相关性标签的初始样本，并通过AI共识过滤剔除标签冲突的数据。随后，针对模型预测存在分歧的样本，引入五位独立标注员进行人工审核，仅保留完全一致的标注结果。在此基础上，提出两种对话生成策略：一是增强式管线，通过预设二元维度（用户风格、助手风格、工具选择）系统性地生成八种结构变体的多轮对话；二是多智能体系统，构建用户、助手和工具模拟器三个LLM驱动代理，通过自由交互模拟更真实、多样化的对话场景。

特点

该数据集具有三大显著特征。其一，标签体系精细且层次分明，包含相关-种子、相关、无关和无关-外部四种类型，覆盖从工具完全匹配到跨服务器无关的完整语义光谱。其二，对话结构高度可控，增强式管线通过用户信息漂移、助手意图偏移等可控维度，生成兼具聚焦与微妙误导的交互模式，每个样本均保留完整的溯源元数据，明确关联至原始任务-工具对及生成参数。其三，数据多样性丰富，多智能体策略模拟不对称信息条件下的真实交互，助手在相关模式下忠实服务用户，在无关模式下则隐藏恶意指令，诱使调用非目标工具，从而生成极具挑战性的负样本。

使用方法

该数据集专门用于评估零信任架构下基于任务的访问控制机制。使用时，研究者可将其作为语义检查流水线的基准测试：首先使用任务提取器从多轮对话中蒸馏出用户意图，再通过任务-工具匹配器判断请求工具是否与意图对齐。数据集提供验证集和测试集的分割，且两个切片基于不重叠的MCP服务器构建，确保了评估的泛化性。标准分类指标（准确率、精确率、召回率、F1分数）配合假阳性率与假阴性率，分别量化权限过度授予和功能受阻的风险。公开可用的生成管线代码和参考实现，进一步支持了方法的可复现与持续改进。

背景与挑战

背景概述

随着大语言模型驱动的智能体系统从单轮交互向多轮对话与分布式协作方向演进，其动态调用工具和访问保护资源的能力带来了日益严峻的安全风险。在此背景下，思科于2026年提出了混合运行时强制框架，通过零信任拦截层将确定性控制与语义检查相结合，进而攻克多轮对话中的任务型访问控制难题。该团队进一步扩展了前期发布的ASTRA数据集，生成了包含相关与无关工具调用的多轮对话数据集，并首次在多轮场景下验证了任务型访问控制的效能。这一工作为智能体系统的安全授权提供了标准化的评估基准，推动了零信任架构在人工智能时代的发展。

当前挑战

该数据集聚焦的领域挑战主要源于智能体在多轮对话中可能被恶意利用：被篡改的工具调用、结果伪造或权限越界行为在现有授权流程中难以被察觉，因为当前方案无法感知主体的原始意图。构建过程面临的数据挑战则包括：如何从多轮对话中准确提取主体任务、如何生成包含真实且隐蔽无关工具调用的对话样本，以及如何确保数据集的多样性和现实性——前序单轮任务集需拓展至多轮，生成的对话既要涵盖结构变异（如用户或助理的注意力偏移），又要通过自动化筛选与人工标注的共识来保证标签可靠性，避免误标或生成内容中工具调用意图失真的情况。

常用场景

经典使用场景

在面向零信任架构的自主式人工智能安全领域，ASTRA扩展数据集与对话工具数据集被广泛用于评估多轮对话中代理调用的工具是否与用户意图保持一致。该数据集的核心价值在于为任务与工具之间的语义匹配提供高质量的标注样本，涵盖相关工具、无关工具及外部无关工具等多种场景，从而支持对语义检查模型在授权决策中的精确度和召回率进行严谨评测。

解决学术问题

该数据集有效解决了多轮对话场景下基于任务的访问控制（TBAC）中的关键学术难题，即如何在零信任拦截层内将用户意图从复杂对话中准确提取，并判断所请求工具是否与提取的任务语义对齐。此前研究多局限于单轮交互，而该数据集拓展出了包含多轮对话与工具调用的复杂场景，填补了授权服务器缺乏对原始任务意图可见性的空白。

衍生相关工作

该数据集衍生出了多套先进的对话生成与评测方法。例如，增强型对话生成流水线通过控制用户风格、助手风格和工具选择三个二进制维度，系统性生成八种结构各异的对话变体；多代理对话生成则利用用户、助手与模拟器三个LLM驱动的代理模拟真实交互。这些工作共同推动了面向工具调用的语义对齐评测从单轮向多轮、从静态到动态的演进。