ToolBench-X

ToolBench-X是由上海交通大学人工智能学院研发的综合性基准数据集，旨在系统评估智能体在不可靠工具环境下的鲁棒性。该数据集包含1106个可执行的多步骤任务，涵盖信息通信、商业交易、娱乐媒体等七大领域，并整合了顺序、并行及混合工作流，每个任务均配备确定性工具和标准答案以实现自动化评估。其构建过程始于清洁工具环境，随后通过注入规范漂移、调用错误、执行失败、输出漂移和跨源冲突等五类结构化可靠性风险，确保每个任务至少存在一条有效恢复路径。该数据集主要应用于人工智能领域，旨在解决现有评估基准对工具环境不可靠性考量不足的问题，推动智能体从单纯函数调用向复杂任务完成的可靠性评估演进。ToolBench-X is a comprehensive benchmark dataset developed by the School of Artificial Intelligence at Shanghai Jiao Tong University, designed to systematically evaluate the robustness of AI Agents in unreliable tool environments. This dataset consists of 1,106 executable multi-step tasks spanning seven major domains such as information and communication, business transactions, and entertainment media. It integrates sequential, parallel, and hybrid workflows, with each task equipped with deterministic tools and standard answers to enable automated evaluation. Its construction starts from a clean tool environment, followed by injecting five types of structured reliability risks including specification drift, invocation errors, execution failures, output drift and cross-source conflicts, to ensure that each task has at least one valid recovery path. This dataset is primarily applied in the field of artificial intelligence, aiming to address the insufficient consideration of tool environment unreliability in existing evaluation benchmarks, and promote the advancement of AI Agent reliability assessment from simple function call-based evaluation to reliability assessment for complex task completion.

搜集汇总

数据集介绍

构建方式

ToolBench-X的构建遵循一条多阶段流水线，旨在生成多样化的、可执行的且具备可恢复性的工具使用任务。首先，定义七个涵盖真实世界工具使用场景的广泛主题范畴，并针对每个主题利用大语言模型生成包含顺序、并行及混合工作流的现实情景。随后，为每个情景配备详细的用户任务规范、所需的Python工具集（包含自然语言描述、输入模式及可执行的确定性实现）以及标准答案。在此基础上，核心步骤是向这些原本无误的工具中注入五种结构化的可靠性危害（规格漂移、调用错误、执行失败、输出漂移与多源冲突），其关键约束在于每个注入后的实例必须至少保留一条通往标准答案的有效恢复路径。最后，所有生成的实例均经过严格的人工审查与自动校验，以确保任务清晰性、工具可执行性、危害类型准确性、答案唯一性以及恢复路径的可行性。

特点

ToolBench-X的核心特点在于其从评估工具调用准确性向评估鲁棒任务完成度的范式转变，尤其关注工具环境不可靠性对智能体性能的影响。该基准测试覆盖了1106个多步骤任务，横跨7个真实世界领域，并均衡地包含了顺序、并行及混合工作流结构。其独特之处在于系统性引入了五种可恢复的可靠性挑战，这些挑战模拟了API文档过时、服务超时、参数绑定失败、输出格式偏移及多源证据冲突等真实故障模式。同时，每个注入实例都保留了通过重试、回退、规范化或交叉验证等策略实现恢复的可能性。实验已有力揭示，当前最先进的大语言模型在应对此类结构化不确定性时表现脆弱，失败的主因并非工具调用数量或推理预算不足，而是由于对危害的诊断能力有限和恢复策略无效。

使用方法

使用ToolBench-X需要借助其配套的自动评估框架。研究者需首先为待评估的智能体配备基准测试中定义的可执行Python工具集与用户任务提示。评估过程中，智能体在包含结构化危害的工具环境中执行多步骤任务，其最终答案通过精确匹配机制与标准答案进行对照，任务正确与否由后端记录的最终状态或显式答案决定。该基准测试支持两种关键的分析模式：一是失败行为分析，通过追踪智能体首次遭遇工具错误后的行动（如重试、切换工具或终止）来诊断故障类型；二是诊断瓶颈分析，通过提供线索（提供危害提示）或测试时间扩展（增加推理轮次）等干预手段，可区分失败是由于诊断不足还是计算不足所致。这种设计能够深入量化智能体在不可靠工具环境下的鲁棒性、恢复能力及局限性。

背景与挑战

背景概述

随着大语言模型在智能代理领域的广泛应用，工具调用能力成为其与外部世界交互的核心桥梁。然而，现有工具使用基准测试大多假设工具环境是清洁、稳定且可信赖的，忽视了实际部署中普遍存在的工具不可靠性问题。在此背景下，上海交通大学人工智能学院的杨天、史正鹏和赵博于2026年提出了ToolBench-X基准数据集。该研究团队旨在系统性地评估智能代理在工具环境存在可恢复性可靠性风险时的任务完成能力，开创性地将评估焦点从单纯的功能调用准确性转向在不确定环境中的鲁棒任务执行。ToolBench-X涵盖了广泛领域中的可执行多步任务，包含顺序、并行和混合工作流，并引入了五种结构化的可靠性风险类型，对相关领域的研究范式产生了深刻影响。

当前挑战

ToolBench-X所面对的核心挑战在于如何真实反映智能代理在不可靠工具环境中的鲁棒性。首先，现有基准测试未能解决的领域问题是：智能代理在面临工具规范漂移、调用错误、执行失败、输出漂移和跨源冲突等现实风险时，其任务完成能力会显著退化，而传统评估仅关注清洁环境下的函数调用正确性。其次，在数据集构建过程中，研究团队面临如何在注入可控风险的同时保持任务可解性的重大挑战，即确保每个被干扰的实例至少存在一条有效的恢复路径，如重试、回退、验证或交叉检查等机制。这种平衡干扰强度与任务可恢复性的设计，以及人类审核流程中超过800人时的严格质量控制，构成了数据构建的独特技术挑战。实验结果表明，当前最先进模型在ToolBench-X上的成功率均低于60%，揭示了诊断能力不足这一核心瓶颈。

常用场景

经典使用场景

ToolBench-X的核心使用场景在于系统性地评估大语言模型智能体在非可靠工具环境下的任务完成能力。通过构建涵盖顺序、并行与混合工作流的可执行多步任务，并注入规范漂移、调用错误、执行失败、输出漂移与跨源冲突五类结构化可靠性风险，该基准能够精准测试智能体在面对工具行为异常时的诊断、恢复与适应能力。研究者可借此检验模型是否能在每项任务都保留至少一条有效恢复路径的前提下，通过重试、回退、验证或交叉检查等策略成功完成任务，从而超越传统函数调用正确性的评估范式。

解决学术问题

该数据集有效解决了当前工具使用评估研究中普遍忽视工具环境不可靠性的关键学术问题。传统基准大多假设工具环境干净、稳定且可信，因此主要衡量模型是否选择了正确的函数与参数，而ToolBench-X则将评估焦点转向智能体在结构化不确定性下的鲁棒任务完成能力。实验揭示了一个显著的可信度鸿沟：在可靠工具上表现优异的智能体在可恢复的风险环境中往往大幅失败，且失败的主因并非工具调用次数或推理预算不足，而是对故障的识别能力有限以及恢复策略低效。这一发现推动了工具使用评估从功能调用准确度向真实环境下任务完成的范式转变。

衍生相关工作

ToolBench-X的提出催生了若干富有启发性的后续研究方向。其关于故障诊断是主要瓶颈的发现，直接激励了面向智能体的异常感知与自诊断机制的设计，例如通过内部推理增强不确定性估计和验证模块。实验中测试时扩展策略虽有增益但效果有限的结论，促使研究者探索更高效的有针对性恢复提示方法。此外，该基准对调用错误与执行失败等高难度故障类型的深入分析，推动了面向工具链错误传播的鲁棒性建模研究，以及基于跨源证据交叉检查的聚合策略优化。这些衍生工作共同将工具使用评估推向更真实、更具挑战性的新阶段。