galileo-ai/agent-leaderboard-v2

Agent Leaderboard v2是一个企业级AI代理人评估基准，用于模拟真实客户支持场景中的多轮对话。该数据集覆盖了银行、医疗保健、保险、投资和电信五个关键行业，并包含了特定领域的工具定义、用户档案和复杂的多目标场景。

Agent Leaderboard v2 is an enterprise-grade AI agent evaluation benchmark designed to simulate multi-turn conversations in realistic customer support scenarios. It covers five critical industries: banking, healthcare, insurance, investment, and telecom, and includes domain-specific tool definitions, user profiles, and complex multi-goal scenarios.

搜集汇总

数据集介绍

构建方式

Agent Leaderboard v2 数据集采用合成数据生成方法构建，旨在模拟企业级客户支持场景中AI代理的交互行为。其构建核心包含三个模块：首先，基于JSON Schema为银行、医疗、保险、投资和电信五个垂直领域定义领域特定的工具函数，涵盖参数结构与响应模式；其次，设计多样化的用户画像，包括年龄、职业、性格特质及沟通风格等属性；最后，将画像与多目标对话场景结合，形成包含5至8个相互关联用户目标的复杂多轮对话。每个领域均包含100个独立场景，并经过模拟流水线进行逼真交互验证，从而确保数据集的生态效度与挑战性。

特点

该数据集具备多项突出特点。多轮对话设计取代了静态的单次评估，每个场景包含上下文依赖、模糊请求及相互依赖的目标，真实模拟了企业交互的复杂性。领域隔离特性使得评估可针对具体行业进行精细化分析，避免了跨领域混淆。此外，数据集提供了两个核心评价指标：动作完成度衡量代理是否达成所有用户目标，工具选择质量则评估工具调用的准确性、参数处理及序列决策能力。合成画像覆盖不同专业水平与沟通风格，进一步增强了场景的多样性与现实代表性。

使用方法

使用该数据集时，用户可通过HuggingFace Datasets库加载指定领域的数据。首先，需选择目标领域（如banking），然后分别加载tools、personas和adaptive_tool_use三个配置。由于工具数据中的properties和response_schema字段以JSON字符串形式存储，需通过自定义转换函数将其解析为字典对象，以便后续处理。加载完成后，可将数据保存为JSON文件并组织目录结构。该数据集适用于评估AI代理在多轮对话中的工具调用与任务完成能力，支持研究者构建和测试面向企业场景的智能体系统。

背景与挑战

背景概述

随着大语言模型（LLM）在工具调用和自主代理领域的快速发展，如何系统性地评估智能体在复杂、多轮交互场景中的表现成为关键挑战。由Galileo AI研究团队于2025年创建的Agent Leaderboard v2数据集，正是为应对这一需求而生。该数据集聚焦于企业级客户支持场景，覆盖银行、医疗、保险、投资和电信五个高价值行业，旨在模拟真实世界中多目标、多步骤的对话任务。其核心研究问题在于：智能体能否在动态、依赖上下文的交互中精准选择工具、完成用户隐含或明确的目标。该数据集通过引入合成用户画像、领域特定工具和自适应场景，显著提升了评估的区分度与生态效度，对推动LLM代理在产业落地中的鲁棒性测试具有里程碑意义。

当前挑战

Agent Leaderboard v2所解决的领域挑战在于，现有评估基准（如v1版本）已出现分数饱和现象，模型得分普遍高于90%，难以有效区分性能差异。为此，该数据集设计了多轮对话（每轮包含5-8个相互关联的用户目标），要求智能体在复杂语境中保持目标连贯性、处理模糊请求并应对真实世界边缘案例。在构建过程中，挑战同样严峻：合成数据需兼顾行业真实性（如金融与医疗领域对API调用的高精度要求）与多样性，团队需为每个行业手工设计20个工具函数、100个用户画像及100个场景，确保工具描述、响应模式与用户行为逻辑一致。此外，如何平衡对话长度、目标复杂度与评估可重复性，也是数据生成与标注流程中的核心难点。

常用场景

经典使用场景

在人工智能代理（AI Agent）的评估与基准测试领域，Agent Leaderboard v2 数据集扮演着标杆性的角色。它专为评测大语言模型代理在真实企业客服场景中的多轮对话能力而设计，覆盖银行、医疗、保险、投资与电信五大关键行业。每个行业均提供100个复杂场景，包含5至8个相互关联的用户目标，要求代理在动态对话中灵活调用领域特定的工具函数。该数据集通过结构化JSON模式定义工具接口，并引入多样化用户画像，为衡量代理的上下文保持、工具选择与目标完成能力提供了标准化测试框架。

解决学术问题

学术界在评估AI代理时长期面临两大困境：一是现有基准测试因任务单一导致模型得分饱和，难以区分性能差异；二是静态的、单轮交互的评估范式无法反映真实世界中多步推理与依赖关系的复杂性。Agent Leaderboard v2 通过引入多目标、多轮对话的动态场景，有效破解了上述难题。它提出的动作完成度（AC）与工具选择质量（TSQ）两项指标，分别从目标达成率与工具调用准确性两个维度量化代理表现，为代理系统的能力边界探索与性能比较提供了严谨的学术度量工具。

衍生相关工作

围绕Agent Leaderboard v2 数据集，研究社区已衍生出一系列经典工作。其前身v1版本见证了多款模型在简单任务上的性能趋同，直接推动了v2版本向多轮动态场景的进化。基于该数据集，研究者开发了仿真评估流水线，用于在可控环境中复现真实客服交互，并据此提出了改进的提示策略与工具编排方法。此外，该数据集还与函数调用（Function Calling）基准测试紧密结合，催生了针对工具选择质量优化的专项研究，例如探索上下文增强与参数校验机制对代理决策准确性的影响。