cua-lite/GUIAct

cua-lite 是 yiye2023/GUIAct 的预处理版本。该数据集包含图形用户界面（GUI）操作数据，涵盖网页单步 grounding.action（web-single）、网页多步导航（web-multi）和安卓多步导航（smartphone）。坐标已归一化到 [0, 1000] 范围；上游测试分割被保留为验证分割。

cua-lite preprocessed version of yiye2023/GUIAct. GUI action data spanning web single-step grounding.action (web-single), web multi-step navigation (web-multi), and Android multi-step navigation (smartphone). Coordinates are normalized to [0, 1000]; the upstream test split is honored as the validation split.

搜集汇总

数据集介绍

构建方式

GUIAct数据集由cua-lite团队基于yiye2023/GUIAct原始数据集进行预处理构建而成。该数据集聚焦于图形用户界面（GUI）中的智能体行为，覆盖了网页单步操作（grounding.action）、网页多步导航（navigation）以及安卓平台多步导航等多种任务场景。构建过程中，所有坐标值均被归一化至[0, 1000]整数区间，以保证不同设备屏幕分辨率下数据的一致性。数据按照平台（mobile、web）与任务类型（grounding.action、navigation等）组织为不同的配置项，每个配置项包含训练集与验证集。此外，为了减少图像存储冗余，对于单图像多指令的grounding类数据，采用了折叠（folded）存储策略：每个唯一截图仅存储一次，并通过额外字段记录其对应的所有指令及元数据，从而在保持信息完整的同时大幅降低存储开销。

特点

GUIAct数据集的核心特色在于其精细化的多平台GUI行为覆盖与灵活的存储结构。数据涵盖安卓移动端与Web端，横跨单步操作与多步导航任务，为构建和评估通用GUI智能体提供了丰富素材。其亮点之一是采用OpenAI风格的多轮对话格式（messages）组织指令，每一轮首尾包含角色（role）与结构化的内容（content），与主流大语言模型微调接口高度兼容。元数据（metadata）字段详细记录了平台、任务类型、有效动作等关键信息，支持灵活的后续过滤与分析。尤其值得关注的是针对grounding类数据独创的折叠存储方案，通过共享相同截图大幅减少重复图像嵌入，兼顾了存储效率与数据可用性。验证集作为分布内留出数据，确保了模型评估的可靠性与泛化性。

使用方法

GUIAct数据集可通过HuggingFace的datasets库便捷加载。用户可使用load_dataset函数直接加载全部数据（ds = load_dataset('cua-lite/GUIAct)），或通过指定配置名灵活地获取特定平台（如'mobile'）或平台与任务类型的组合（如'mobile.navigation'）数据。加载后的数据包含images（图像列表）、messages（结构化对话）和metadata（元数据）三列，可直接用于视觉-语言模型的微调。对于采用了折叠存储的grounding类数据，推荐使用配套的lite.data.hf.download工具进行本地镜像下载，该工具会自动将折叠数据展开为每条指令对应一条记录的规范格式，或输出为本地Parquet文件，其中图像以内容寻址方式存储，极大便利了后续的SFT导出与多数据集混合训练流程。

背景与挑战

背景概述

GUIAct数据集由Yiye等人于2023年创建，旨在解决图形用户界面（GUI）智能体在跨平台操作中的自动化问题，其专注于移动端和网页端的多步骤导航与单步动作接地任务。该数据集由cua-lite团队进行预处理，将坐标归一化至[0,1000]区间，并保留了原始测试集作为验证划分。GUIAct的推出为GUI智能体的行为理解与执行提供了标准化的训练与评估基准，显著推动了人机交互领域的研究进展，尤其在自主界面操作与视觉语言模型的交叉方向上产生了深远影响。

当前挑战

GUIAct所应对的领域挑战在于如何使AI模型在复杂、多变的GUI环境中具备高精度的动作定位与任务执行能力，这涉及跨平台（移动端与网页端）的界面元素识别、多步骤任务规划及动作序列的连贯性。在构建过程中，数据采集面临的主要挑战包括不同平台屏幕尺寸与布局差异导致的坐标标注困难，以及单步动作与多步任务之间数据关联性的维护；此外，图像去重策略虽节省存储空间，却增加了数据解析与折叠结构处理的复杂性，对下游训练流程的兼容性提出了更高要求。

常用场景

经典使用场景

GUIAct数据集专为图形用户界面（GUI）智能体的研究而设计，其经典使用场景聚焦于训练和评估具备跨平台视觉理解与操作能力的多模态模型。该数据集精心整合了Web单步动作定位、Web多步导航以及Android多步导航三类任务，覆盖了指令理解、界面元素定位与顺序操作等核心能力。研究者可利用其配备的归一化坐标和OpenAI风格的多轮对话结构，让模型学习从截图画面中解析用户意图并预测精确的动作坐标序列。这一标准化的数据范式为从端到端GUI智能体的监督微调提供了坚实基石。

实际应用

在实际应用层面，GUIAct为自动化界面代理的落地提供了直接的数据燃料。基于该数据集训练的模型可被集成到智能办公助手中，协助用户完成网页表单填写、多页面数据采集或手机应用的自动化测试与遍历。在无障碍技术领域，这些模型能够转化为视觉替身，帮助视障人群通过自然语言指令完成复杂的应用导航。此外，该数据还可迁移至软件机器人流程自动化（RPA）中，用以解析非标准化的旧版系统界面，实现跨系统的数据迁移任务，极大地降低人力重复操作的成本。

衍生相关工作

GUIAct的发布催生了一系列围绕GUI智能体能力增强的衍生工作。一方面，研究者在此基础上发展了基于多阶段推理的导航策略，通过构建动作轨迹的回放机制来提升长序列任务的执行成功率。另一方面，该数据集被用于训练异构代理（如Qwen3-VL与专用定位模型）的协同框架，实现了视觉理解与动作执行的解耦。此外，针对GUI中常见的术语变体与布局漂移问题，衍生工作引入了对比学习与数据增强管道，有效提升了模型在未见过的应用程序界面上的零样本适应能力。这些探索不断拓展着GUI智能体在实际部署中的边界。