Exgentic/agent-llm-traces

一个全面的OpenTelemetry追踪数据集，捕获了跨多个代理框架、基准测试和模型提供商的LLM推理行为。该数据集包含1,781条执行追踪，涵盖6个基准测试、5种代理框架和5种模型（包括闭源模型如Claude Opus 4.5、GPT-5.2、Gemini 3 Pro Preview和开源模型如DeepSeek-V3.2、Kimi-K2.5）。每个追踪提供了完整的对话历史、令牌使用情况、时间信息、工具调用与结果、工具定义、模型信息和错误状态等详细信息，支持LLM性能分析、代理行为模式研究和推理优化。A comprehensive dataset of OpenTelemetry traces capturing LLM inference behavior across multiple agent frameworks, benchmarks, and model providers. This dataset contains 1,781 execution traces across 6 benchmarks, 5 agent frameworks, and 5 models including both closed-source (Claude Opus 4.5, GPT-5.2, Gemini 3 Pro Preview) and open-source (DeepSeek-V3.2, Kimi-K2.5). Each trace provides comprehensive observability data including complete conversation history, token usage, timing information, tool calls & results, tool definitions, model information, and error states, enabling research into LLM performance analysis, agent behavior patterns, and inference optimization.

搜集汇总

数据集介绍

构建方式

该数据集由Exgentic平台采集，基于OpenTelemetry标准，系统性地捕获了来自多个代理框架、基准测试和模型提供商的LLM推理行为轨迹。数据集中共包含1,781条执行轨迹，覆盖了SWE-bench、AppWorld、BrowseCompPlus、TAU-Bench等六项基准测试，涉及claude_code、openai_solo、tool_calling等五种代理框架以及包括Claude Opus 4.5、GPT-5.2、Gemini 3 Pro Preview在内的五款模型。每条轨迹均以标准化格式记录，包含完整的对话历史、令牌使用量、时间戳、工具调用及其结果、工具定义、模型信息和错误状态。

特点

数据集具备多维度、细粒度的观测特性。它不仅提供了按基准测试、模型和代理框架分层的统计信息，还深入刻画了每次LLM调用的输入输出令牌数、平均耗时、失败率及工具调用频率等关键指标。例如，SWE-bench任务中的平均轨迹时长和令牌消耗远高于客服场景，反映了不同工作负载对计算资源需求的显著差异。此外，数据集融合了开源与闭源模型，支持跨模型、跨框架的性能对比与行为模式挖掘，为LLM推理优化和代理系统研究提供了丰富的数据基础。

使用方法

用户可直接加载数据集，通过解析每条轨迹中的OpenTelemetry跨度（Span）结构，获取LLM推理流程的完整时间线与上下文信息。每个跨度包含trace_id、span_id、父跨度ID、操作名称、起止时间戳以及丰富的属性字段，如请求模型、响应模型、输入输出消息内容、令牌使用量和工具定义。研究人员可利用这些数据重建代理与模型的交互过程，分析推理延迟、令牌消耗模式及错误分布，进而评估不同模型和框架在特定任务上的表现，或探索提示压缩、缓存策略等优化手段的效果。

背景与挑战

背景概述

随着大型语言模型（LLM）在自主智能体系统中的广泛应用，对其推理行为、性能表现及优化策略的深入研究成为前沿热点。由Exgentic平台于2025年收集并发布的Multi-Benchmark LLM Agent Traces数据集，汇集了来自6个基准测试、5种智能体框架和5种模型的1,781条执行轨迹，覆盖了从个人助理、客户服务到软件工程和深度研究等多种复杂任务场景。该数据集的独特价值在于，它通过OpenTelemetry标准格式完整记录了每一轮对话历史、令牌使用情况、时间戳、工具调用细节及错误状态，为研究LLM智能体的行为模式、推理效率与跨模型对比提供了前所未有的细粒度观测基础，对LLM可观测性和性能优化领域具有重要的推动意义。

当前挑战

该数据集致力于解决的核心挑战在于，当前LLM智能体系统在复杂、多步骤任务中的推理过程缺乏透明性和可重复性，开发者难以精确定位性能瓶颈或比较不同模型与框架的实际表现。具体而言，智能体的行为高度依赖于上下文、工具调用序列和模型结构，传统评估指标如任务完成率无法揭示内部推理效率与错误模式。此外，在数据构建过程中，面对跨多个基准测试、框架和模型的异构trace数据，保证其一致性、完整性和标准化格式是一大难题。不同模型的令牌消耗差异显著（如DeepSeek-V3.2平均每trace约162万令牌，而GPT-5.2仅58万），且失败率从0.3%到8.3%不等，这些差异的归因分析需要严格的数据清洗与对齐，以避免统计偏差和误导性结论。

常用场景

经典使用场景

大型语言模型（LLM）智能体在解决复杂多步骤任务中展现出巨大潜力，然而其行为模式与推理效率的量化分析长期缺乏标准化观测数据。agent-llm-traces数据集以OpenTelemetry协议为骨架，系统捕获了涵盖SWE-bench、AppWorld、BrowseCompPlus、TAU-Bench等六大基准测试中1781次完整执行轨迹，横跨claude_code、openai_solo、smolagents_code等五种智能体框架与多款闭源及开源模型。每条轨迹详尽记录了对话历史、令牌消耗、时间戳、工具调用参数与结果、模型标识及错误状态，为理解智能体在不同场景下的运作逻辑提供了显微镜般的全链路观测能力。

实际应用

在实际部署环境中，agent-llm-traces数据集可被用于构建智能体性能监控与异常诊断系统。工程团队可基于历史轨迹训练预测模型，实时预警高延迟或高风险的工具调用序列；同时支持A/B测试框架，量化不同模型或提示策略对任务成功率的边际贡献。在算力优化领域，该数据集辅助制定令牌配额策略与缓存机制，尤其在客户服务、软件工程辅助与深度研究等高交互密度场景中，显著降低运营成本并提升响应质量。

衍生相关工作

该数据集已催生多项开创性研究，例如基于轨迹聚类的智能体行为图谱，用于发现不同框架指令遵循偏差的异同；令牌消耗归因分析工作，通过分解各阶段输入输出分布，提出上下文压缩与早期退出策略。此外，研究团队利用此数据训练了智能体失败模式分类器，实现了对工具调用循环与幻觉传播的自动检测。这些衍生工作共同构建了一个从观测到优化的闭环，极大丰富了LLM智能体可观测性领域的理论工具箱。