ASTRA

ASTRA是一个用于委托授权流程中任务工具匹配的开源数据集，包含基于真实MCP服务器生成的合成多工具任务，涵盖需要1-3个工具的任务场景。数据集包含正确和模拟错误的工具匹配，并集成了TOUCAN数据集的精选子集进行直接比较。数据经过处理、去重和过滤，确保高质量，包含12个企业级MCP服务器，每个服务器覆盖10-90个工具。

ASTRA is an open-source dataset for task-tool matching in delegation authorization workflows. It comprises synthetic multi-tool tasks generated based on real-world MCP servers, covering task scenarios requiring 1 to 3 tools. The dataset includes both correct and simulated erroneous task-tool matchings, and integrates a curated subset of the TOUCAN dataset for direct comparison. All data has been processed, deduplicated, and filtered to ensure high quality, and encompasses 12 enterprise-grade MCP servers, with each server supporting 10 to 90 tools.

原始信息汇总

ASTRA 数据集概述

数据集简介

ASTRA 是一个用于委托授权流程中任务-工具匹配的开源数据集，专注于基于语义任务的受限访问授权研究。

核心特性

合成多工具任务

• 使用真实世界 MCP 服务器生成代理任务
• 涵盖 1-3 个工具的任务集
• 确保语义连贯性和真实性

模拟工具匹配

• 包含正确和模拟错误工具匹配
• 错误匹配：来自同一 MCP 服务器的工具
• 空匹配：来自不同 MCP 服务器的工具

TOUCAN 数据集成

• 精心策划和预处理的 TOUCAN 数据集子集
• 用于直接比较的格式化数据
• 一致的质量控制

完整元数据

• 包含所有工具名称、描述和服务器元数据

数据规模

企业级 MCP 服务器

• 12 个高质量、仅限英语的服务器
• 每个服务器覆盖 10-90 个工具

合成任务数量

• ASTRA 数据集：每个工具数量 N∈[1,2,3] 包含 352×3 个任务
• TOUCAN 数据集：每个工具数量 N 包含 1,056 个处理任务

数据质量

• 经过处理、去重和过滤
• 验证就绪的高质量数据

数据集结构

数据目录组织

data/ ├── 01_tool/ # 单工具任务数据 │ ├── ASTRA/ # ASTRA 生成数据 │ └── TOUCAN/ # TOUCAN 处理数据 ├── 02_tools/ # 双工具任务数据 │ ├── ASTRA/ │ └── TOUCAN/ ├── 03_tools/ # 三工具任务数据 │ ├── ASTRA/ │ └── TOUCAN/ └── mcp_servers/ # MCP 服务器配置 ├── ASTRA/ └── TOUCAN/

文件类型

• generated.json：生成的 MCP 服务器工具任务
• processed.json：处理的 MCP 服务器工具任务
• test.json：测试数据
• validation.json：验证数据分割

相关资源

• 论文：https://arxiv.org/abs/2510.26702
• 概述页面：https://outshift-open.github.io/ASTRA
• TOUCAN 数据集：https://arxiv.org/abs/2510.01179

许可证信息

• 采用 Apache 2.0 许可证
• 版权归属：Cisco Systems, Inc. 及其关联公司

搜集汇总

数据集介绍

构建方式

在授权委托流程研究领域，ASTRA数据集采用模块化构建方法，通过真实世界的模型上下文协议服务器生成语义连贯的代理任务。数据生成过程严格遵循工具数量分级原则，将任务划分为单工具、双工具和三工具三个复杂度层级，每个层级均包含自主生成的ASTRA数据和经过标准化处理的TOUCAN对比数据。构建过程中特别设计了工具匹配模拟机制，既包含正确匹配也涵盖同服务器错误匹配与跨服务器空匹配两种异常场景，确保数据集的学术研究价值。

特点

该数据集最显著的特征在于其多维度仿真能力，不仅提供基于企业级模型上下文协议服务器的合成多工具任务，还完整保留了工具名称、描述及服务器元数据等关键信息。数据规模涵盖12个高质量英语服务器，每个服务器配备10至90个工具，共生成352组三级复杂度任务。通过与TOUCAN数据集的深度整合，研究者可获得经过去重过滤的高质量验证数据，为授权流程中的语义任务匹配研究提供全面支撑。

使用方法

研究者可按照工具复杂度分级使用数据集，通过访问指定目录下的JSON文件获取不同阶段的数据资源。单工具任务对应01_tool目录，多工具任务则分别存储在02_tools与03_tools目录中，每个目录均细分为ASTRA生成数据与TOUCAN处理数据两个子集。实际应用中可直接调用generated.json获取生成任务，通过validation.json进行模型验证，并利用test.json完成最终测试，配套的服务器配置文件则为实验复现提供完整技术环境。

背景与挑战

背景概述

ASTRA数据集由Cisco Systems研究团队于2024年提出，聚焦于智能体授权流程中的语义任务工具匹配问题。该数据集通过整合真实世界模型上下文协议服务器资源，构建了涵盖单工具至多工具场景的合成任务序列，旨在推动委托授权机制在复杂人机协作环境中的语义理解能力发展。其创新性地融合了TOUCAN基准数据的重构版本，为评估任务导向型工具匹配算法提供了标准化测试平台，显著提升了授权决策系统在开放域环境下的泛化性能。

当前挑战

在语义任务工具匹配领域，核心挑战在于解决多工具协同场景下的语义连贯性验证与错误传播抑制问题。ASTRA构建过程中需克服合成数据生成的质量控制难题，包括确保工具组合的语义合理性、模拟真实错误匹配模式（如同服务器工具误配与跨服务器空配），以及维持不同复杂度任务间数据分布的一致性。此外，原始TOUCAN数据的重构与标准化处理亦涉及复杂的数据去重、质量过滤与格式统一等技术瓶颈。

常用场景

经典使用场景

在智能代理系统领域，ASTRA数据集通过模拟多工具任务匹配场景，为授权流程中的语义协调性研究提供了基准平台。该数据集利用真实世界的MCP服务器（如维基百科、GitHub）生成包含1至3个工具组合的合成任务，并构建了正确与错误工具匹配的对比样本，使得研究者能够系统评估代理在复杂任务中工具选择与权限控制的准确性。

衍生相关工作

基于ASTRA数据集构建的基准测试框架，已衍生出多项关于工具语义匹配算法的创新研究。其与TOUCAN数据集的深度整合促进了跨数据集对比分析方法的发展，为后续多模态授权模型、动态权限迁移等研究方向提供了可扩展的实验范式。

数据集最近研究

最新研究方向

在智能体授权与工具匹配领域，ASTRA数据集通过集成真实世界MCP服务器构建的多工具任务框架，正推动语义化访问控制机制的前沿探索。当前研究聚焦于利用合成任务数据模拟复杂场景下的工具匹配偏差，涵盖同服务器错误匹配与跨服务器空匹配等关键问题，为评估授权流中的语义一致性提供基准。该数据集与TOUCAN的深度整合进一步促进了跨模型性能对比，其企业级服务器配置与多粒度任务结构正成为验证智能体任务规划可靠性的重要基础设施，对提升开放式环境下安全委托授权系统的鲁棒性具有显著意义。