cua-lite/GUI-360

cua-lite/GUI-360是GUI-360（vyokky/GUI-360）的预处理版本，这是一个大规模数据集，包含在Windows Microsoft-Office应用程序（Word/Excel/PowerPoint）上的计算机使用代理轨迹。它提供了从成功训练轨迹中衍生的三种桌面任务类型：多步导航、点定位（意图到元素坐标）和屏幕解析（列出所有交互式UI控件）。该数据集用于支持计算机代理在图形用户界面（GUI）中的任务执行和交互研究。

cua-lite preprocessed version of GUI-360 (vyokky/GUI-360), a large-scale dataset of computer-using-agent trajectories on Windows Microsoft-Office apps (Word / Excel / PowerPoint). Provides three desktop task types derived from the successful training trajectories: multi-step navigation, point grounding (intent -> element coordinate), and screen parsing (listing all interactive UI controls).

搜集汇总

数据集介绍

构建方式

GUI-360数据集由cua-lite团队基于vyokky/GUI-360原始数据集进行预处理构建，聚焦于Windows Microsoft-Office应用（Word、Excel、PowerPoint）中的计算机使用代理轨迹。该数据集从成功的训练轨迹中衍生出三类桌面任务：多点步骤导航、点级意图定位（将用户意图映射至元素坐标）及屏幕解析（列举所有交互式UI控件）。数据以Parquet格式存储，按平台与任务类型组织为分层目录结构，并划分为训练集与验证集，其中验证集为同分布保留切片，不参与模型训练。

特点

该数据集包含三大核心特点：其一，数据规模庞大，总计涵盖172,618张唯一图像，存储容量达27.89 GB，其中桌面平台下grounding.point任务含77,843条训练样本，understanding任务含95,367条样本；其二，数据采用OpenAI风格的消息格式，每行记录包含图像列表、结构化对话消息及丰富的元数据结构，坐标值均归一化至[0, 1000]整数区间；其三，支持多平台拓展，除桌面任务外还预留移动端与网页端接口，并通过带变体的目录设计兼容多版本数据。

使用方法

用户可通过HuggingFace datasets库便捷加载数据，使用load_dataset('cua-lite/GUI-360')加载全部数据，或通过指定配置名如'desktop.grounding.point'获取特定平台与任务类型的子集。加载后可按metadata.platform、metadata.task_type等字段进行二次筛选。对于本地工作流，提供镜像下载工具lite.data.hf.download将仓库映射为规范本地布局，包括内容寻址的图像存储与按平台/任务类型组织的Parquet文件，并支持lite.train.utils.data.export_sft直接消费本地格式进行SFT导出。

背景与挑战

背景概述

GUI-360数据集由研究者于2024年底至2025年初创建，旨在推动计算机使用智能体（Computer-Using Agent）领域的发展。该数据集聚焦于Windows平台下的Microsoft Office套件（Word、Excel、PowerPoint）操作轨迹，核心研究问题在于如何通过大规模、高质量的标注数据，训练模型实现复杂的GUI交互任务，包括多步导航、元素点定位以及屏幕语义解析。作为该领域规模最大的桌面端数据集之一，GUI-360提供了17万余张独立截图及近20万条训练轨迹，为GUI智能体的监督微调（SFT）提供了坚实基础，在学术界和工业界引起了广泛关注，显著推动了人机交互与多模态大模型的交叉研究。

当前挑战

GUI-360数据集的构建与使用面临多重挑战。领域层面，GUI任务的核心难点在于模型需理解高度动态、视觉元素丰富的界面，并执行精确的空间定位与逻辑推理，例如从自然语言意图映射到屏幕坐标（点定位），或从屏幕截图解析出所有可交互控件（屏幕解析）。构建过程中，如何从Office应用的复杂操作日志中自动提取高质量、无噪声的轨迹数据，并保证不同任务类型（导航、定位、理解）之间的一致性与覆盖度，是技术上的重大挑战。此外，数据集的标注涉及坐标归一化至[0,1000]整数值，以及多模态轨迹的格式化组织，这些精细化处理流程增加了工程实现的复杂性。

常用场景

经典使用场景

GUI-360数据集是专为计算机使用智能体（Computer-Using Agent, CUA）研究设计的海量轨迹数据集，其核心使用场景聚焦于桌面端Microsoft Office应用（Word、Excel、PowerPoint）中的多步导航、点定位（从意图映射至元素坐标）以及屏幕解析（枚举所有可交互UI控件）三类任务。通过提供结构化的图像-文本-文本格式数据，研究者可基于此训练模型理解图形用户界面、执行精确的坐标级操作并完成长序列任务规划，从而推动GUI自动化领域从固定规则脚本向数据驱动智能体的范式转变。

衍生相关工作

围绕GUI-360数据集已衍生出一系列具有影响力的学术工作，其中最具代表性的是原作者提出的CUA-Lite框架，其通过轻量化架构与轨迹蒸馏技术实现了高效的GUI智能体推理。此外，研究社区基于该数据集开发了多种视觉-语言对齐方法，例如利用点定位任务训练坐标精准的意图到动作映射模型，以及结合屏幕解析任务提升UI元素识别精度的混合训练策略。该数据集还催生了多项关于长程任务规划与错误恢复机制的研究，探索在Office软件多步导航中整合历史记忆与当前观测的决策范式，这些工作在ACL、CVPR及NeurIPS等顶级会议上均有发表，显著提升了模型在真实办公场景中的鲁棒性与泛化能力。

数据集最近研究

最新研究方向

GUI-360数据集聚焦于桌面端Microsoft Office套件（Word、Excel、PowerPoint）中计算机操作代理轨迹的大规模采集与结构化标注，涵盖多步骤导航、意图到元素坐标的指向性定位以及屏幕界面控制组件的全面解析三类核心任务。该数据集的发布为图形用户界面理解与自动化操控研究提供了高质量的训练与评估基准，其精心设计的验证集避免了训练数据泄露，为评估模型泛化能力提供了可靠保障。在计算用户代理与大型视觉语言模型快速融合的前沿趋势下，GUI-360推动了对复杂多步骤办公软件操作流程的端到端学习，为开发能够自主完成真实应用场景中精细化界面操作的数字助理奠定了数据基础。