cua-lite/CAGUI

cua-lite预处理版本的OpenBMB/CAGUI数据集。这是一个中文Android移动数据集，用于支持理解任务（包括UI元素功能描述和OCR，基于区域条件）和导航任务（跨中国应用如饿了么、微信、网易云音乐的多步骤智能体演示）。

The cua-lite preprocessed version of the OpenBMB/CAGUI dataset. This is a Chinese Android mobile dataset that supports two categories of tasks: understanding tasks (including UI element function description and region-based OCR) and navigation tasks (multi-step AI agent demonstrations across Chinese applications such as Ele.me, WeChat, and NetEase Cloud Music).

搜集汇总

数据集介绍

构建方式

CAGUI数据集基于OpenBMB/CAGUI进行预处理与重构，专注于中文Android移动端图形用户界面的理解与导航任务。在构建过程中，数据集将原始图像与结构化对话信息相结合，每条样本包含嵌入式PNG/JPEG图像列表、遵循OpenAI格式的多轮消息序列以及丰富的元数据字段。元数据详尽记录了平台类型、任务类别、辅助工具集、有效动作空间及其他扩展信息，确保样本的语义完整性与可扩展性。坐标值被统一归一化至0至1000的整数区间，以消除不同屏幕分辨率的差异。数据以Parquet格式存储，并按照平台、任务类型与数据划分进行层级组织，便于高效检索与加载。

特点

CAGUI是cua-lite系列中首个完全基于中文语境的数据集，其语言字段明确标注为'zh'，具备鲜明的语言与文化针对性。数据涵盖移动端导航与理解两大任务类型，其中理解任务进一步细分为UI元素功能描述（cap）与光学字符识别（ocr），导航任务则包含多步智能体交互轨迹，覆盖饿了么、微信、网易云音乐等国内主流应用场景。验证集从训练集中按分布内方式切分保留，确保评估的公平性；而测试集则保留用于跨域基准测试。数据集包含5,892张独立图像，仅图像存储体积达1.10 GB，体现了丰富的视觉信息量。

使用方法

用户可通过HuggingFace `datasets`库便捷加载CAGUI数据集，支持加载完整数据集或按平台与任务类型组合的子配置，例如仅加载移动端导航部分。加载后，用户可根据元数据中的`platform`、`task_type`及`others.*`字段进行灵活筛选。对于本地高效工作流，建议使用`lite.data.hf.download`工具将数据集镜像至本地规范布局，此布局采用内容寻址的图像存储机制，通过哈希路径管理图像文件，从而避免冗余存储。本地Parquet文件中的图像引用将转换为相对路径字符串，配合`export_sft`工具可直接用于监督微调训练，显著提升数据迭代与混合处理的效率。

背景与挑战

背景概述

CAGUI数据集由OpenBMB团队于近期创建，专注于中文移动端图形用户界面（GUI）的理解与导航任务。随着人工智能代理在复杂数字环境中的应用日益广泛，如何让模型精准感知界面元素、理解用户意图并执行多步操作成为关键挑战。该数据集通过涵盖UI元素功能描述、光学字符识别（OCR）及区域条件标注的理解任务，以及包括饿了么、微信、网易云音乐等主流中文应用的多步导航轨迹，为训练具备中文GUI交互能力的智能体提供了基础资源。其预处理版本cua-lite/CAGUI进一步规范了数据格式与坐标表示，显著推动了该领域的研究进展。

当前挑战

CAGUI数据集所解决的领域问题核心在于：现有GUI数据集多面向英文界面且任务类型单一，缺乏对中文应用复杂导航模式的覆盖，导致模型在跨平台、多步骤交互场景中泛化能力不足。构建过程中，数据采集面临界面动态更新与异构布局的困难，需精确标注每步操作的屏幕坐标（归一化至[0,1000]整数区间）及元素框信息。此外，多平台（移动端、桌面端、网页端）与多任务类型（理解、定位、导航）的数据组织方式增加了数据统一管理的复杂度，清洗与去重工作也需兼顾不同任务间的语义连贯性。

常用场景

经典使用场景

CAGUI数据集在中文图形用户界面（GUI）智能理解与导航任务中扮演着核心角色。该数据集聚焦于移动端中文应用（如饿了么、微信、网易云音乐），提供了两大经典使用方向：一是UI理解任务，涵盖元素功能描述与光学字符识别，并支持区域条件化生成；二是多步导航任务，包含跨应用的智能体轨迹示范。研究者可基于此数据集训练模型，使其具备解读界面内容、定位操作元素以及模拟人类操作流程的能力，从而在中文移动GUI场景中实现从感知到决策的连贯推理。

衍生相关工作

CAGUI数据集的发布催生了一系列前沿研究。在模型架构方面，衍生工作探索了将视觉语言模型与局部检测模块相结合的混合架构，以提升元素定位的准确性。在训练范式上，相关工作包括基于该数据集构建的GUI智能体微调流程，以及融合理解与导航任务的联合训练策略。此外，CAGUI作为中文GUI领域的标杆数据集，还被用于评估跨平台模型的迁移能力，推动了多语言GUI理解与操作模型的统一基准建设。

数据集最近研究

最新研究方向

在人工智能前沿领域，CAGUI作为首个面向中文Android移动设备的GUI智能体数据集，正推动着多模态大模型在真实应用场景中的理解与导航能力跃升。该数据集通过融合UI元素功能描述、OCR文本识别及区域条件定位，构建了覆盖理解与导航的双轨训练体系，其内嵌的跨步骤智能体演示数据源自饿了么、微信、网易云音乐等国民级应用，精准映射了中文移动生态的操作语境。当前研究热点聚焦于利用此类精细化的GUI轨迹数据，赋能大模型在复杂移动端任务中的端到端执行，例如从主动定位界面元素到自主完成多步导航，从而加速新一代Agent式交互范式的落地。CAGUI的发布不仅填补了中文GUI智能体数据集在数据规模与任务多样性上的空白，更通过统一坐标归一化与元数据标注，为后续跨平台、跨任务的通用智能体泛化研究奠定了坚实的基础，预示着人机交互向更自然、更主动的自主化方向演进。