pagarsky/agent-trace

AgentTrace是一个关于工具使用语言模型代理跟踪的开源数据集，包含执行遥测数据。每个跟踪记录包括模型生成步骤、工具调用、实时计时、操作系统级资源使用情况、工具输入和输出、推理内容以及可重复性元数据。数据集还包含收集代码、分析脚本和确定性NL2Bash固定装置，用于重放本地命令行任务。数据集的文件包括来自MBPP测试分割和NL2Bash/InterCode策划的任务，涉及不同模型版本的跟踪记录。

AgentTrace is an open dataset of tool-using language-model agent traces with execution telemetry. Each trace records model-generation steps, tool calls, wall-clock timing, OS-level resource usage, tool inputs and outputs, reasoning content, and reproducibility metadata. The repository contains the dataset, collection code, analysis scripts, and the deterministic NL2Bash fixture needed to replay the local command-line tasks. The dataset files include tasks from MBPP test split and NL2Bash/InterCode curated, involving trace records of different model versions.

搜集汇总

数据集介绍

构建方式

AgentTrace数据集的构建依托于Qwen3系列模型（0.6B与1.7B参数版本）在两大基准任务——MBPP代码生成测试集与NL2Bash/InterCode精选命令行任务集上的执行轨迹。采集过程采用llama-server兼容OpenAI风格的工具调用接口，通过自动化脚本驱动模型生成并记录完整的agent运行日志。每条轨迹均以JSONL格式存储，包含trace_id、时间戳、提示词、模型标识及总耗时等元信息，同时细粒度地记录了工具调用的span序列（涵盖工具名称、输入输出、执行时序与退出码）以及模型推理步骤的llm_steps（包含可见输出、推理内容、解析后的工具调用及可用时的token计数）。此外，系统级资源遥测数据如用户态CPU时间、内核态CPU时间、峰值常驻内存集大小、磁盘读写字节数等被同步采集，并在不同操作系统间进行了内存统计单位的归一化处理。数据最终被整理为Parquet格式的规范化视图，便于通过Hugging Face数据集库直接访问。

特点

该数据集的核心特色在于其多维度、细粒度的执行遥测信息，为研究语言模型代理的行为提供了前所未有的透明度。不同于仅记录最终结果的传统基准，AgentTrace捕获了从模型生成到工具执行的完整时空信息，包括毫秒级的时间戳、操作系统层面的资源消耗指标，以及可复现性所需的元数据。数据集覆盖了两种不同规模的Qwen3模型在编程与命令行两种典型工具使用场景下的表现，总计1400条轨迹，形成了规模适中但信息密度极高的资源。特别值得一提的是，NL2Bash任务采用确定性测试夹具确保结果的可复现性，而主机相关路径已被归一化或脱敏处理，少量早期轨迹中意外捕获的本地文件输出也被标记为已编辑状态，体现了数据集构建者对数据质量和隐私保护的严谨态度。

使用方法

用户可通过多种方式便捷地利用AgentTrace数据集。最直接的方式是借助Hugging Face的datasets库加载，仅需一行代码`load_dataset("pagarsky/agent-trace")["train"]`即可获取训练集，随后通过解析JSON字段获取span、llm_steps及metadata等结构化信息。对于希望进行深度分析的开发者，仓库提供了`analyze.py`和`analyze_deep.py`脚本，支持对单文件或跨任务的轨迹进行统计与可视化，运行命令如`uv run python analyze.py datasets/mbpp_0_6B_20260328T133144Z.jsonl`。此外，用户还可利用`plots.py`脚本生成独立的图表目录。若需复现采集流程，需先启动llama-server，再运行`collect.py`指定数据集与模型参数，或直接使用`collect-all.sh`进行批量采集。整个工具链基于uv包管理器，确保了依赖环境的可复现性。

背景与挑战

背景概述

AgentTrace是由Oleksii Paharskyi与Heorhii Haina于2026年创建的开源数据集，旨在系统性地记录语言模型智能体在执行工具调用任务时的完整遥测踪迹。该数据集聚焦于大语言模型在真实推理与工具使用过程中的可复现性与资源消耗分析，涵盖代码生成（MBPP）与命令行任务（NL2Bash/InterCode）两大场景。通过提供包含模型生成步骤、工具调用输入输出、系统级资源指标（如CPU时间、内存占用、磁盘读写）以及时间戳等结构化字段，AgentTrace填补了智能体行为可观测性数据的空白，为研究语言模型智能体的鲁棒性、效率与资源调度提供了标准化基准。其发布对理解智能体错误传播、优化推理成本以及推动可复现AI研究具有重要价值。

当前挑战

该数据集面临的核心挑战首先在于领域问题——智能体在执行工具调用任务时，其生成步骤与系统资源消耗之间的动态关系缺乏系统量化，现有评估多聚焦任务完成度而忽略运行效率与资源足迹，阻碍了智能体在受限环境中的部署优化。构建过程中，技术难点体现为跨平台资源指标的归一化（如macOS与Linux内存统计差异）、敏感信息的脱敏处理（主机路径与文件内容遮蔽）以及确定性回放环境的搭建（NL2Bash测试夹具），同时需确保1,400条轨迹的元数据一致性，例如早期数据中轻微泄露的库文件行被标记为<redacted>而非删除，以维护数据集的透明性与完整性。

常用场景

经典使用场景

AgentTrace数据集专为捕捉和记录语言模型代理在执行工具调用任务时的完整行为轨迹而设计。其核心使用场景在于深入剖析代理在生成步骤、工具选择、输入输出交互以及系统资源消耗方面的微观动态。通过记录跨度（spans）和语言模型步骤（llm_steps），研究者能够逐行解析代理的推理过程与工具调用的时序关系，为理解当代大型语言模型在复杂任务中的决策机制提供了第一手的实证素材。该数据集通常被用于复现和基准测试不同规模的模型（如Qwen3-0.6B与1.7B）在代码生成（如MBPP测试集）和自然语言转Bash命令（NL2Bash）等经典任务上的行为差异，是评估代理鲁棒性与效率的理想平台。

实际应用

在实际工程应用中，AgentTrace数据集为构建高效、可靠的智能代理系统提供了宝贵的参考。开发人员可利用其中的执行轨迹数据来调试和优化代理的提示策略（prompting strategy），例如通过分析工具调用失败时的退出码与输入输出异常，改进工具选择的容错机制。此外，数据集中的时序与资源信息直接服务于在线服务中的资源调度决策——帮助确定在何种模型规模与硬件配置下，代理能够以最优的响应速度和能耗完成指定任务。对于移动端或嵌入式环境下的轻量级代理部署而言，这些细粒度的资源记录尤为关键，能够指导模型压缩与硬件适配方案的设计。

衍生相关工作

基于AgentTrace数据集的独特结构，学术界和工业界已衍生出若干富有价值的研究工作。在可复现性研究方面，该数据集所附带的中继确定性测试夹具（deterministic NL2Bash fixture）使得其他研究者能够在受控环境中精确回放本地命令行任务，这催生了一系列关于代理行为再现性与环境敏感性的对比分析。在模型压缩领域，不同规模模型（0.6B与1.7B）在相同任务集上的资源消耗差异，为探索模型剪枝、量化或知识蒸馏对代理执行效率的影响提供了基线数据。此外，数据集中包含的显式推理内容（reasoning content）与工具调用步骤的对应关系，促进了针对代理可解释性与思维链透明度的后续研究，助力构建更可信赖的人机协作系统。