SPA-BENCH

SPA-BENCH是由华为诺亚方舟实验室和哈尔滨工业大学（深圳）联合创建的智能手机代理评估基准数据集。该数据集包含340个任务，涵盖系统应用和第三方应用，支持中英文双语，旨在评估基于大型语言模型（LLM）和多模态大型语言模型（MLLM）的智能手机代理在真实交互环境中的表现。数据集创建过程中，通过人工标注和验证确保任务质量，涵盖单应用和跨应用任务，难度级别从简单到复杂。SPA-BENCH的应用领域主要集中在智能手机控制和自动化任务，旨在解决智能手机代理在实际应用中的性能评估问题。

SPA-BENCH is a benchmark dataset for smartphone agent evaluation, jointly developed by Huawei Noah's Ark Lab and Harbin Institute of Technology (Shenzhen). It comprises 340 tasks covering both system applications and third-party applications, supports both Chinese and English, and its core objective is to evaluate the performance of smartphone agents powered by Large Language Models (LLMs) and Multimodal Large Language Models (MLLMs) in real-world interactive environments. During the dataset construction, manual annotation and validation were implemented to guarantee task quality, with tasks spanning both single-application and cross-application workflows, and difficulty levels ranging from simple to complex. The application scenarios of SPA-BENCH primarily focus on smartphone control and automation tasks, aiming to address the performance evaluation challenges of smartphone agents in real-world practical applications.

搜集汇总

数据集介绍

构建方式

SPA-BENCH 数据集通过模拟真实世界条件下的智能手机交互环境，构建了一个全面的智能手机代理评估基准。该数据集包括涵盖系统应用和第三方应用的多样化任务，涵盖英语和中文两种语言。任务设计侧重于日常使用中的常见功能，确保评估的广泛性和实用性。数据集的构建过程包括任务选择、任务描述、人类执行轨迹记录以及最终状态的关键组件标注，确保任务质量和可重复性。

特点

SPA-BENCH 数据集的显著特点在于其任务的多样性和复杂性，涵盖了单应用任务和跨应用任务，以及不同难度级别的任务。此外，数据集支持多种语言，包括英语和中文，增加了评估的全面性。数据集还提供了一个即插即用的框架，支持实时代理与 Android 设备的交互，并集成了超过十个代理，便于新代理的集成和测试。

使用方法

SPA-BENCH 数据集的使用方法包括将代理集成到框架中，通过自动化评估管道评估代理在多个维度上的性能。评估管道自动评估代理的任务完成情况和资源消耗情况，涵盖七个与任务完成和资源消耗相关的指标。研究人员可以通过该数据集对不同代理进行公平比较，识别代理的优缺点，并指导未来智能手机代理的研究方向。

背景与挑战

背景概述

SPA-BENCH, introduced in 2024, is a comprehensive benchmark designed to evaluate smartphone agents, particularly those based on Multimodal Large Language Models (MLLMs). Developed by researchers from Huawei Noah’s Ark Lab, Harbin Institute of Technology, Shenzhen, and University College London, SPA-BENCH addresses the critical need for fair and accurate comparison of smartphone agents in real-world interactive environments. The benchmark encompasses a diverse set of tasks across system and third-party apps in both English and Chinese, focusing on daily routine features. It integrates over ten agents and employs a novel evaluation pipeline to assess performance across multiple dimensions, including task completion and resource consumption. SPA-BENCH aims to provide a robust framework for evaluating the strengths and weaknesses of smartphone agents, thereby guiding future research and development in this rapidly evolving field.

当前挑战

SPA-BENCH faces several significant challenges. Firstly, the evaluation of smartphone agents is inherently complex due to the varied task scope and the need for integration with different agent implementations. Secondly, the benchmark must simulate real-world conditions, which introduces challenges such as interpreting mobile user interfaces, grounding actions accurately, retaining memory across tasks, and managing execution costs. Additionally, the benchmark must address limitations in current research, such as the focus on system and Google suite applications in English, the limited number of evaluated agents, and the reliance on human intervention for success detection. SPA-BENCH aims to overcome these challenges by providing a diverse task collection, a plug-and-play framework for agent interaction, and an automated evaluation pipeline that reduces the need for handcrafted validation logic and supports a wider range of apps and tasks.

常用场景

经典使用场景

SPA-BENCH 数据集的经典使用场景在于评估基于多模态大语言模型（MLLM）的智能手机代理在模拟真实世界条件下的交互环境中的性能。该数据集通过提供多样化的任务集合，涵盖系统应用和第三方应用，以及中英文双语环境，支持对智能手机代理的多维度评估。这些任务聚焦于日常使用中的常见功能，如预订酒店、设置闹钟等，从而能够全面评估代理在不同任务完成度和资源消耗方面的表现。

衍生相关工作

SPA-BENCH 数据集的发布催生了一系列相关的经典工作。首先，基于该数据集的研究揭示了多模态大语言模型在智能手机控制中的潜力和局限性，推动了相关模型的进一步优化和创新。其次，SPA-BENCH 促进了自动化评估方法的发展，特别是在减少人工干预和提高评估效率方面。此外，该数据集还激发了对智能手机代理在多语言环境下的适应性和性能的研究，推动了跨语言智能代理的发展。最后，SPA-BENCH 的成功应用也为其他领域的智能代理评估提供了参考和借鉴。

数据集最近研究

最新研究方向

在智能手机代理领域，SPA-BENCH数据集的最新研究方向主要集中在提升多模态大语言模型（MLLM）在实际交互环境中的评估和应用。研究者们致力于开发一个综合性的基准测试，以评估基于MLLM的智能手机代理在模拟真实世界条件下的表现。该研究方向包括设计多样化的任务集合，涵盖系统应用和第三方应用，以及开发一个即插即用的框架，支持实时代理与Android设备的交互。此外，研究还涉及构建一个自动化的评估管道，通过多维度指标来评估代理的性能，包括任务完成度和资源消耗。通过这些研究，旨在解决当前智能手机代理在解释移动用户界面、动作接地、记忆保留和执行成本等方面的挑战，推动智能手机代理在实际应用中的发展。

相关研究论文

• SPA-Bench: A Comprehensive Benchmark for SmartPhone Agent Evaluation

  华为诺亚方舟实验室, 哈尔滨工业大学（深圳）, 伦敦大学学院 · 2024年