π-BENCH

π-BENCH是一个用于长时程工作流中主动个人助理代理的基准测试，其中用户从非具体请求开始，重要需求在交互过程中逐渐显现。它包含100个多轮任务，覆盖5个特定领域角色（研究员、营销人员、药剂师、法律实习生、金融家），并将它们组织为持久工作空间中的多会话片段。该基准联合测量主动性（PROC）和完整性（COMP），PROC评估代理是否通过推理或集中引导早期解决隐藏意图以减少可避免的用户负担，COMP评估最终交付物是否满足清单要求和工件级义务。评分结合基于规则的隐藏意图判断和清单验证，审计结果显示法官分歧低（<4%），支持评估可靠性。相比于主要关注短时程任务、GUI/移动交互或仅记忆检索的基准，π-BENCH强调具有隐藏意图、任务间依赖性和跨会话连续性的持久、以工件为中心的工作流，从而更清晰地区分反应性任务完成和主动协助质量。

π-BENCH is a benchmark for active personal assistant agents in long-term workflows, where users start with non-specific requests and their important needs gradually emerge over the course of interaction. It contains 100 multi-turn tasks covering 5 domain-specific roles (researcher, marketer, pharmacist, legal intern, financier), and organizes these tasks into multi-session segments within persistent workspaces. This benchmark jointly evaluates two core metrics: Proactivity (PROC) and Completeness (COMP). PROC assesses whether an agent resolves hidden intentions early via reasoning or focused guidance to minimize avoidable user burden, while COMP measures whether final deliverables satisfy checklist requirements and artifact-level obligations. Scoring integrates rule-based hidden intention judgment and checklist validation; audit results demonstrate low inter-judge disagreement (<4%), which supports the reliability of the evaluation. Compared to existing benchmarks that primarily focus on short-term tasks, GUI/mobile interactions, or solely memory retrieval, π-BENCH emphasizes persistent, artifact-centric workflows featuring hidden intentions, inter-task dependencies and cross-session continuity, thus enabling a clearer distinction between reactive task completion and the quality of proactive assistance.

原始信息汇总

π-Bench 数据集概述

π-Bench 是一个用于评估主动式个人助手智能体在长时程工作流中的表现的基准测试。其核心特点是用户从模糊的请求开始，重要的需求在交互过程中逐步浮现。

数据集构成

• 任务总数: 100 个多轮对话任务。
• 领域角色: 覆盖 5 个特定领域的人物角色：
  • researcher (研究员)
  • marketer (市场营销人员)
  • pharmacist (药剂师)
  • law_trainee (法律实习生)
  • financier (金融从业者)
• 组织方式: 任务以多会话（multi-session）剧集（episodes）的形式组织在持久化工作空间中。

评估指标

该基准测试联合测量两个核心指标：

• Proactivity (PROC): 评估智能体是否能在早期解决用户的隐藏意图（通过推理或主动询问），以减少用户不必要的负担。
• Completeness (COMP): 评估最终交付物是否满足检查清单要求和工件级别的义务。

评分结合了基于规则的隐藏意图判断和检查清单验证。审计结果显示评审分歧度低（<4%），保证了评估的可靠性。

与同类基准的区别

π-Bench 强调持久的、以工件为中心的工作流，并包含以下关键挑战：

• 隐藏意图
• 任务间依赖
• 跨会话连续性

这使得它能够清晰地区分反应式任务完成与主动式辅助质量。

排行榜

下表列出了部分模型在 PRO℃ 和 COMP 指标上的平均得分（%）以及各领域的细分表现（分数字标为标准差）：

模型	平均 Proc	平均 Comp	Researcher	Marketer	Pharmacist	Law Trainee	Financier
GPT-5.4	67.0	65.6	46.0 / 66.4	78.2 / 67.1	75.9 / 71.5	56.9 / 61.9	78.1 / 61.2
Gemini 3.1 Pro	57.1	60.0	41.1 / 59.2	65.0 / 62.1	71.0 / 72.1	50.0 / 55.3	58.6 / 51.1
Claude Opus 4.6	65.5	67.6	50.3 / 74.5	75.0 / 74.6	82.8 / 68.6	45.7 / 57.2	73.8 / 63.2
DeepSeek V3.2	53.3	57.8	29.0 / 66.9	69.1 / 59.4	75.9 / 62.6	33.2 / 51.1	59.1 / 48.9
MiniMax M2.7	55.6	60.0	33.4 / 63.9	71.9 / 61.9	77.1 / 63.6	38.6 / 52.5	57.2 / 58.1
Kimi K2.5	43.1	61.6	28.9 / 63.5	41.2 / 62.3	70.1 / 74.8	34.8 / 54.4	40.4 / 52.9
Seed2.0 Pro	58.4	52.1	38.9 / 59.6	71.4 / 44.2	77.0 / 67.6	46.0 / 44.7	58.7 / 44.5
GLM-5.1	58.4	63.6	41.8 / 61.6	62.6 / 69.1	75.2 / 70.3	45.5 / 57.3	66.7 / 59.9
Qwen3.6 Plus	64.0	64.1	40.1 / 70.0	77.5 / 66.6	79.7 / 70.2	45.7 / 60.2	77.1 / 53.6

使用与运行

• 环境配置: 基于 Python 3.11 和 Conda 环境。
• 运行方式: 通过 pibench 命令，指定模型ID、用户ID和运行次数。
• 输出: 所有结果和日志保存在 outputs/<model-id>/<user-id>/ 目录下。

相关资源

• 论文: arXiv 2605.14678
• 项目页面: Pi-Bench 项目页

搜集汇总

数据集介绍

构建方式

π-BENCH是一个面向长周期工作流中主动式个人助手代理的基准测试数据集。其构建方式独具匠心，涵盖了5个专业领域角色（研究员、市场专员、药剂师、法律实习生、金融从业者），并设计了100个多轮交互任务。这些任务被组织成跨会话的情节，运行在持久化工作空间中。每个任务从用户提出的模糊需求开始，随着交互的深入，重要需求逐渐浮现。数据集通过隐藏意图的推理或聚焦式启发，来评估代理能否提前解决用户未明确表达的需求。

使用方法

使用π-BENCH首先需要创建并激活Python 3.11环境，安装本地依赖并准备AppWorld数据。接着创建本地环境文件并填入提供商凭据，包括模型、用户和评判者的基础URL与API密钥等。之后需拉取基准测试的Docker镜像。运行评估时，从仓库根目录执行pibench命令，指定模型ID即可。支持同时评估多个模型或多个用户，重复运行可通过--run参数指定次数。评估结果和日志将自动写入outputs目录下按模型和用户组织的文件夹中，便于后续分析和比较。

背景与挑战

背景概述

在人工智能领域，个人助理智能体正从简单的指令执行向主动感知与长期工作流协作演进。然而，现有基准测试多聚焦于短周期交互或单一记忆检索任务，鲜有涉及跨会话、多依赖关系的主动规划场景。π-BENCH由研究团队于2025年提出，旨在填补这一空白。该基准包含100个多轮任务，覆盖研究员、营销专家、药剂师、法律实习生与金融分析师五类专业角色，任务在持久化工作空间中组织为多会话篇章。其核心研究问题在于：智能体能否通过推理或定向探询，在用户未明确表述时主动识别并解决隐藏意图，从而减少用户负担。π-BENCH同时评估主动性与任务完成度，并采用低判别不一致率的评分机制，为评估长期工作流中的主动协助质量提供了可靠标准，对推动下一代人机协作智能体研究具有重要影响力。

当前挑战

π-BENCH所聚焦的领域面临多重挑战。首先，在复杂工作流中，用户初始需求往往模糊且关键约束随交互逐步浮现，智能体需在信息不完备下推断深层意图，这对模型的上下文理解与主动推理能力构成显著瓶颈。其次，任务间存在跨会话依赖，智能体必须维持对先前成果与工作空间状态的长期记忆，以避免重复或冲突操作。构建基准本身亦充满挑战：设计包含隐藏意图的多轮场景需兼顾专业领域的真实性与任务逻辑的自洽性，同时确保评分机制对主动性的量化不受主观偏差干扰。此外，评测环境的持久化设置与多模型集成接口的开发，也为系统稳定性和可复现性带来了工程性难题。

常用场景

经典使用场景

π-BENCH基准测试专注于评估具备前瞻主动性的个人助手智能体在长期、多会话工作流中的表现。该基准包含100个多轮任务，覆盖研究员、市场营销专家、药剂师、法律实习生和金融分析师五种专业角色。每个任务以跨会话的持久工作空间形式组织，智能体需要从未完全明确的用户请求出发，通过主动推断和聚焦性追问来揭示隐藏意图，并在多个会话之间维持上下文连贯性，最终生成符合清单质量要求的最终交付物。这一设计精准模拟了现实中用户与助手之间复杂、渐进的协作模式。

解决学术问题

π-BENCH系统性地解决了现有基准测试对长期、隐式意图和跨会话连续性评估不足的学术难题。传统基准多聚焦于短时任务、图形界面交互或单一记忆检索，无法有效区分被动任务完成与高质量主动协助的差异。π-BENCH引入了主动度与完备度两维指标，分别衡量智能体能否通过早期推断或引导性提问减少用户负担，以及交付物是否满足清单与制品级义务。其基于规则和清单的评分机制实现了低于4%的评判分歧度，为长程主动智能体的可重复、可靠评估奠定了方法论基础。

实际应用

在实际部署中，π-BENCH可评估各类个人助手系统在医疗咨询、法律文书准备、投资分析、市场调研等专业领域中的真实协作能力。智能体需要自主理解用户未言明的需求，主动进行信息检索与分析，生成符合专业规范的文档或方案。该基准能够指导商业级助手产品的功能迭代，例如通过分数对比发现模型在主动推测用户意图环节的薄弱点，从而定向优化对话策略与知识检索能力，最终提升用户在复杂工作流中的使用体验与效率。

数据集最近研究

最新研究方向

长时域工作流中的主动式个人助手智能体评估