vibrantlabsai/tau2-infinity-dag
收藏资源简介：
--- language: - en license: apache-2.0 task_categories: - text-generation tags: - benchmark - tool-use - agent - function-calling - airline size_categories: - n<1K --- # tau2-infinity An adaptive benchmark for evaluating LLM tool-use agents on airline customer service tasks. Generated using EnvScaler by VibrantLabs. ## Overview Each task requires an agent to transform an initial database state **S_0** into a golden final state **S*** by executing a sequence of tool calls (flight searches, bookings, cancellations, updates, etc.). Tasks were adaptively generated to target specific difficulty levels against a calibration model. | Property | Value | |----------|-------| | Number of tasks | 13 | | Target pass rate | [0.2, 0.6] | | Achieved avg pass rate | 0.354 | | Calibration model | `fireworks_ai/accounts/vibrantlabs/deployments/bv8h7e5g` | | Evaluation runs per task | 5 | | Total iterations to collect | 50 | | Collection rate | 26.0% | ## Dataset Schema | Column | Type | Description | |--------|------|-------------| | `task_id` | string | Unique task identifier | | `task_description` | string | Natural language task the agent must complete | | `tools` | JSON string | Tool specifications available to the agent | | `database` | JSON string | Initial database state (S_0) | | `golden_trajectory` | JSON string | Resolved DAG with oracle tool calls and expected outputs | | `pass_rate` | float | Pass rate achieved by the calibration model (0.0 - 1.0) | ## Tasks | Task ID | Pass Rate | Failure Mode | |---------|-----------|-------------| | 010 | 0.600 | | | 015 | 0.200 | | | 018 | 0.200 | | | 019 | 0.400 | | | 027 | 0.200 | | | 031 | 0.400 | | | 034 | 0.200 | | | 039 | 0.400 | | | 040 | 0.600 | | | 041 | 0.200 | | | 042 | 0.200 | | | 044 | 0.600 | | | 050 | 0.600 | | ## Failure Mode Analysis ## Usage ```python from datasets import load_dataset ds = load_dataset("vibrantlabsai/tau2-infinity", split="test") for task in ds: print(task["task_id"], task["task_description"][:100]) # Parse structured fields import json tools = json.loads(task["tools"]) database = json.loads(task["database"]) golden = json.loads(task["golden_trajectory"]) ``` ## License Apache 2.0
language: - 英语 license: Apache-2.0 task_categories: - 文本生成 tags: - 基准测试 - 工具使用 - 智能体 - 函数调用 - 航空领域 size_categories: - 样本数少于1000 # tau2-infinity 专为航空客服场景下评估大语言模型（Large Language Model, LLM）工具使用智能体而打造的自适应基准测试集，由VibrantLabs推出的EnvScaler工具生成。 ## 概述 每个任务均要求智能体通过执行一系列工具调用（航班查询、机票预订、取消订单、改签等），将初始数据库状态**S₀**转换为标准最终状态**S***。本数据集的所有任务均通过校准模型针对特定难度级别自适应生成。 | 属性 | 取值 | |----------|-------| | 任务总数 | 13 | | 目标通过率 | [0.2, 0.6] | | 实际平均通过率 | 0.354 | | 校准模型 | `fireworks_ai/accounts/vibrantlabs/deployments/bv8h7e5g` | | 单任务评估轮次 | 5 | | 总采集迭代次数 | 50 | | 采集成功率 | 26.0% | ## 数据集架构 | 列名 | 数据类型 | 描述 | |--------|------|-------------| | `task_id` | 字符串 | 唯一任务标识符 | | `task_description` | 字符串 | 智能体需完成的自然语言任务描述 | | `tools` | JSON字符串 | 智能体可用的工具规格说明 | | `database` | JSON字符串 | 初始数据库状态（S₀） | | `golden_trajectory` | JSON字符串 | 包含权威工具调用与预期输出的已解析有向无环图（Directed Acyclic Graph, DAG） | | `pass_rate` | 浮点数 | 校准模型达成的通过率，取值范围为0.0至1.0 | ## 任务详情 | 任务ID | 通过率 | 失败模式 | |---------|-----------|-------------| | 010 | 0.600 | 无 | | 015 | 0.200 | 无 | | 018 | 0.200 | 无 | | 019 | 0.400 | 无 | | 027 | 0.200 | 无 | | 031 | 0.400 | 无 | | 034 | 0.200 | 无 | | 039 | 0.400 | 无 | | 040 | 0.600 | 无 | | 041 | 0.200 | 无 | | 042 | 0.200 | 无 | | 044 | 0.600 | 无 | | 050 | 0.600 | 无 | ## 失败模式分析 ## 使用示例 python from datasets import load_dataset ds = load_dataset("vibrantlabsai/tau2-infinity", split="test") for task in ds: print(task["task_id"], task["task_description"][:100]) # 解析结构化字段 import json tools = json.loads(task["tools"]) database = json.loads(task["database"]) golden = json.loads(task["golden_trajectory"]) ## 许可证 Apache 2.0
