LearnGUI

LearnGUI是一个专为移动GUI智能体演示学习设计的综合数据集，包含73个应用程序的2,353个自然变化的任务，每个任务都有高质量的人类演示动作序列和元素注释。数据集分为离线和在线评估两部分，支持从1-shot到3-shot的少样本学习。LearnGUI is a comprehensive dataset specifically designed for demonstration learning of mobile GUI AI Agents. It encompasses 2,353 naturally varied tasks across 73 applications, with each task paired with high-quality human demonstration action sequences and element annotations. The dataset is split into offline and online evaluation subsets, and supports few-shot learning ranging from 1-shot to 3-shot.

原始信息汇总

LearnGUI数据集概述

基本信息

• 许可证: Apache License 2.0
• 规模: 1K<n<10K
• 任务类别: 机器人技术

数据集简介

LearnGUI是首个专注于移动GUI代理基于演示学习的综合数据集，包含73个应用程序中的2,353条指令，平均每个任务13.2个步骤，提供高质量的人类演示用于离线和在线评估场景。

核心特点

• 统一基准框架: 标准化指标和评估协议
• 双评估模式: 支持离线（2,252任务）和在线（101任务）评估
• 少样本学习支持: 包含k-shot组合（k=1,2,3）
• 多维度相似性度量: 量化指令、UI和动作维度的相关性
• 多样化覆盖: 涵盖73个移动应用的真实使用模式
• 专家标注轨迹: 包含详细步骤动作序列和元素注释

数据集结构与统计

主要划分

划分	K-shot	任务数	应用数	步骤动作	平均指令相似度	平均UI相似度	平均动作相似度	四种相似度组合统计
离线训练	1-shot	2,001	44	26,184	0.845	0.901	0.858	详见表格
离线测试	1-shot	251	9	3,469	0.798	0.868	0.867	详见表格
在线测试	1-shot	101	20	1,423	-	-	-	-

任务内容

• 高级指令
• 低级动作序列
• 每一步截图
• UI元素详情
• 真实动作标签
• 不同相似度配置的演示配对

目录结构

LearnGUI/ ├── offline/ # 离线评估数据 │ ├── screenshot.zip # 截图存档 │ ├── element_anno.zip # 元素标注 │ ├── instruction_anno.zip # 指令标注 │ ├── task_spilit.json # 任务划分信息 │ └── low_level_instructions.json # 详细步骤指令 └── online/ # 在线评估数据 ├── low_level_instructions/ # 各任务步骤指令JSON文件 └── raw_data/ # 各任务原始数据

与现有数据集对比

LearnGUI在以下方面优于现有GUI数据集：

• 指令数量（2,353）
• 应用覆盖（73个）
• 平均步骤数（13.2）
• 支持环境交互
• 提供高低级指令
• 包含真实轨迹
• 支持少样本学习

搜集汇总

数据集介绍

构建方式

LearnGUI数据集作为移动GUI智能体研究领域的重要资源，其构建过程体现了严谨的学术规范。研究团队通过系统化采集73款主流移动应用的2,353条任务指令，采用专家标注方式记录每个任务平均13.2步的操作轨迹。数据构建采用分层抽样策略，确保覆盖多样化的应用场景和交互模式，同时通过多维度相似度度量体系对演示数据进行标准化处理。离线评估部分包含2,252个任务，在线评估部分则精心设计了101个实时交互任务，形成完整的评估生态。

特点

该数据集最显著的特征在于其开创性地整合了演示学习与多模态评估框架。通过设计指令相似度(InsSim)、界面相似度(UISim)和操作相似度(ActSim)三重度量标准，为智能体学习提供细粒度的参考基准。独特的k-shot学习支持机制（k=1,2,3）配合四种相似度组合模式，有效模拟了现实场景中的长尾挑战。数据集同时包含高层次的语义指令和低层级的操作序列，辅以完整的界面截图和UI元素标注，构建了移动GUI理解的多维度研究平台。

使用方法

研究者可通过标准化的数据接口快速接入LearnGUI评估体系。离线评估模式下，利用task_spilit.json获取任务划分，结合low_level_instructions.json中的动作序列进行模型训练。在线评估需配置Android模拟环境，通过解析raw_data目录中的实时交互数据验证智能体性能。数据集特别设计的相似度矩阵可用于分析模型在不同难度层级的表现，而多shot组合则为小样本学习研究提供了天然实验场。评估过程建议遵循论文提出的标准化指标，确保结果可比性。

背景与挑战

背景概述

LearnGUI数据集由研究团队于2024年推出，旨在解决移动GUI智能体在演示学习中的长尾挑战。作为首个专注于移动GUI智能体演示学习的综合性基准，该数据集包含73个应用程序中的2,353条指令，每条任务平均包含13.2个步骤，涵盖了离线与在线两种评估场景。其核心研究问题聚焦于如何通过高质量的人类演示提升智能体在复杂移动环境中的泛化能力，为GUI交互研究提供了标准化评估框架。该数据集的发布显著推动了移动GUI智能体在真实场景中的应用研究。

当前挑战

LearnGUI数据集面临双重挑战：在领域问题层面，移动GUI智能体需应对界面元素的动态变化、跨应用泛化以及长序列动作规划等难题；在构建过程中，研究团队需解决多维度相似性标注的复杂性、高质量演示数据的采集成本，以及在线评估环境的高保真模拟等技术瓶颈。数据集特别设计了k-shot学习支持与多维度相似性指标，以应对这些挑战。

常用场景

经典使用场景

在移动GUI智能体研究领域，LearnGUI数据集为基于演示的学习提供了标准化评估框架。该数据集通过2,353个涵盖73款应用程序的多样化任务，支持研究者系统性地探索智能体在复杂移动界面中的操作能力。其独特的双模式评估体系（离线和在线）允许全面验证智能体在不同场景下的适应性，而多维相似性指标则为分析演示样本的迁移效果提供了量化依据。

实际应用

该数据集的实际价值体现在移动应用自动化测试和智能助手开发领域。企业可利用其丰富的任务样本训练自动化测试模型，显著提升应用界面的兼容性检测效率。在消费级场景中，基于LearnGUI训练的智能体能够理解自然语言指令并完成复杂操作流程，如日程管理、文件编辑等高频需求，为提升移动设备交互体验提供了技术支撑。

衍生相关工作

LearnGUI的发布催生了多个移动GUI智能体研究方向的创新工作。在少样本学习方面，研究者基于其k-shot组合开发了新型元学习算法；跨应用迁移研究则利用数据集的多维相似性指标建立了效果预测模型。部分团队将该数据集与强化学习框架结合，探索了演示数据对策略优化的增强作用。这些衍生工作共同推动了人机交互与移动计算领域的交叉发展。