Toolathlon-Verified_Trajectories

该数据集包含了运行Toolathlon-Verified评估时所收集的完整轨迹数据，涵盖了多个主流大语言模型（LLM）在评估中的表现记录，具体包括Claude Opus 4.8 (max)、GPT 5.5 (xhigh)、Gemini 3.5 Flash (high)、GLM 5.2 (max)、Kimi K2.7 Code以及DeepSeek V4 Pro (max)等模型版本。这些轨迹数据可用于分析和比较不同AI模型在特定评估任务中的行为、交互过程与性能。

This dataset contains complete trajectory data collected during the Toolathlon-Verified evaluation. It currently covers performance records of multiple mainstream large language models (LLMs) in the evaluation, including versions such as Claude Opus 4.8 (max), GPT 5.5 (xhigh), Gemini 3.5 Flash (high), GLM 5.2 (max), Kimi K2.7 Code, and DeepSeek V4 Pro (max). These trajectory data can be used to analyze and compare the behavior, interaction processes, and performance of different AI models in specific evaluation tasks.

搜集汇总

数据集介绍

构建方式

Toolathlon-Verified_Trajectories数据集源自对108项工具调用任务的严格评测流程，其构建方式在于系统性地收集了多款前沿模型在执行Toolathlon基准测试时的完整智能体轨迹。每个压缩档案整合了同一模型的三次独立运行结果，囊括对应的任务产出物及运行级别的评估统计摘要文件，从而构建出可供深度分析的结构化资源。

使用方法

研究人员可通过下载各模型对应的压缩档案直接获取完整轨迹，利用其中丰富的任务产物和结构化统计摘要进行深入的智能体行为分析。在引用模型身份时，应优先依据压缩档案及顶层运行目录名称，避免使用可能已过时的内部配置文件标签。如需二次分发，建议对衍生子集进行额外审查以保障数据安全。

背景与挑战

背景概述

Toolathlon-Verified_Trajectories数据集由香港科技大学自然语言处理实验室（HKUST NLP）于2024年创建，旨在为大语言模型驱动的智能体在复杂工具调用任务中的行为提供结构化评估基准。该数据集收录了八个前沿模型（包括Claude Opus 4.8、GPT-5.5、Gemini 3.5 Flash等）在108个工具使用任务上的完整执行轨迹，每个模型重复运行三次，共计超过2400条轨迹数据。数据集的发布填补了当前缺乏标准化、可复现的智能体轨迹评估体系的空白，通过提供细粒度的过程级指标（如任务成功率、步数分布与轨迹一致性），为工具增强型语言模型的研究提供了量化分析基础，推动了智能体可靠性与可解释性评估的规范化进程。

当前挑战

该数据集面临的核心挑战有三：其一，在领域问题层面，需要准确评估智能体在动态工具调用场景中的鲁棒性与泛化能力，避免模型仅依赖记忆或捷径解决任务，而数据集提供的Pass³指标（三次运行均成功的任务占比）揭示了多数模型在这一指标上显著低于Pass@1，凸显了稳定执行复杂工具链的困难；其二，构建过程中面临轨迹数据隐私保护的挑战，由于原始轨迹包含工具调用的API凭据、端点URL等敏感信息，需在发布前进行自动化脱敏处理，而脱敏过程可能引入未知的语义失真或数据不完整风险；其三，不同模型使用的工具调用格式与上下文长度差异巨大（如Gemini 3.5 Flash平均需45个步骤完成任务），导致跨模型性能比较时需谨慎处理执行策略差异带来的统计偏差。

常用场景

经典使用场景

在工具增强型语言模型蓬勃发展的当下，Toolathlon-Verified Trajectories数据集作为一套精心收集与验证的智能体轨迹档案，为评估大语言模型在多工具协作任务中的泛化能力提供了标准化的基准测试平台。该数据集收录了包括Claude、GPT、Gemini在内的多种前沿模型在108项工具操控任务中的完整交互记录，涵盖了工具调用、参数传递与结果解析等关键智能体行为环节。研究者和工程师可以借助这些经过隐私清洗与合法性验证的轨迹数据，对模型的工具选择策略、任务完成效率以及鲁棒性进行系统度量。

解决学术问题

该数据集直面当前大语言模型在函数调用与工具使用评估中缺乏标准化、可复现基准的学术困境。通过提供多模型、多视角、多次运行的统一测评框架，它有效解决了智能体研究领域中存在的评价指标不统一、实验对比困难以及结果可复现性差等核心痛点。数据集精心定义的Pass@1、Pass@3、Pass³等分层成功率指标，使得研究者能够从任务级和运行级两个维度深入剖析模型的行为差异，从而推动工具型智能体从定性描述迈向定量比较的科学范式。

实际应用

在实际应用中，Toolathlon-Verified Trajectories数据集的价值体现在它能够作为智能体系统开发与迭代的黄金标准测试集。开发团队可以依据这些标准化的评估轨迹，在部署诸如代码生成代理、自动化数据管线调度系统或企业级API编排工具之前，对候选模型进行全面的能力摸底与风险洞察。例如，云端服务团队可通过比对不同模型在同样工具集上的平均交互轮次与任务成功率，精准识别出最适合自动化运维场景的低延迟、高可靠模型方案，从而显著降低试错成本。

数据集最近研究

最新研究方向

在智能体系统与工具使用能力评估的前沿探索中，Toolathlon-Verified Trajectories数据集以其对多模型全轨迹行为的精细记录，开启了从静态基准向动态行为分析转型的崭新篇章。该数据集囊括了Claude Opus 4.8、GPT-5.5、Gemini 3.5 Flash等八种顶尖模型的交互痕迹，并引入Pass@1、Pass@3、Pass³与平均回合数等多维度度量，深入刻画了模型在复杂任务中的稳定性、鲁棒性与效率。通过对比不同模型在同一108项任务上的表现差异，研究者得以剖析各模型在规划、纠错与工具调用策略上的本质区别。这一数据集的出现，不仅为评估大规模语言模型在实际应用中的代理能力提供了高质量、可复现的测试平台，也推动了可解释智能体行为分析与多轮任务一致性研究的热潮，对推动可靠性导向的AI系统设计具有深远意义。