vyokky/GUI-360

GUI-360°是一个大规模、全面的数据集和基准测试套件，旨在推动计算机使用代理（CUAs）的发展。它通过高度自动化的管道解决了现实世界CUA任务稀缺、多模态轨迹自动收集和注释管道的缺失以及统一评估GUI定位、屏幕解析和动作预测的基准测试套件缺失等问题。该数据集包含了超过120万次执行的动作步骤，涵盖数千个轨迹，应用于流行的Windows办公应用中，包括完整分辨率的截图、可访问性元数据、实例化目标、中间推理轨迹以及成功和失败的动作轨迹。

GUI-360° is a large-scale, comprehensive dataset and benchmark suite designed to advance computer-using agents (CUAs). It addresses the scarcity of real-world CUA tasks, the lack of automated collection-and-annotation pipelines for multi-modal trajectories, and the absence of a unified benchmark that jointly evaluates GUI grounding, screen parsing, and action prediction with a largely automated pipeline for query sourcing, environment-template construction, task instantiation, batched execution, and LLM-driven quality filtering. The dataset contains over 1.2M executed action steps across thousands of trajectories in popular Windows office applications, including full-resolution screenshots, accessibility metadata when available, instantiated goals, intermediate reasoning traces, and both successful and failed action trajectories.

搜集汇总

数据集介绍

构建方式

GUI-360°数据集的构建遵循了一套严谨的三阶段流水线。首先，在查询获取阶段，从真实世界场景中广泛采集用户需求，并构建可复现的环境模板，通过实例化与筛选将模糊的查询转化为具体可执行的任务。其次，在自动轨迹收集阶段，一个专门的代理自主执行这些任务，完整记录每一步的高分辨率截图、代理的推理过程以及所执行的动作。最后，在评估与后处理阶段，通过轨迹验证确保执行正确性，通过数据清洗剔除敏感或无效信息，并通过标准化格式组织数据，最终形成了包含超过120万执行步骤、覆盖Windows办公应用的多模态轨迹数据集。

特点

该数据集具有显著的多维优势。其一，规模宏大，包含13750条成功轨迹及超过21万张截图，平均每张截图涵盖167个交互元素。其二，模态丰富，融合了全分辨率截图、无障碍元数据、代理推理链及混合GUI与API动作空间，支持对计算机使用代理的全面评估。其三，结构多元，同时收录成功与失败的轨迹，为分析代理行为提供了宝贵素材。其四，任务聚焦，针对GUI定位、屏幕解析和动作预测三大经典任务进行了专门的数据处理，可直接用于Qwen-2.5-VL-7B等模型的监督微调。

使用方法

数据集在HuggingFace上以多个配置形式发布，用户可通过`load_dataset`函数便捷加载。主配置`main`提供了四个子集：`grounding`用于GUI元素定位任务，`screen_parsing`用于屏幕元素解析，`action_prediction`用于动作预测，而`action_prediction_a11y`则在动作预测中额外引入了无障碍信息。每个子集的数据已预先处理为适用于监督微调的格式，加载后可直接用于模型训练与评估。此外，官方还提供了完整的处理与评估工具链，支持用户对原始轨迹数据进行深度加工和模型性能评测。

背景与挑战

背景概述

GUI-360°数据集由研究团队于2025年创建，旨在推动计算机使用代理（CUAs）领域的发展。该数据集聚焦于Windows办公应用（Word、Excel、PowerPoint），通过收集超过120万条执行动作轨迹，构建了一个大规模、多模态的基准测试资源。其核心研究问题在于如何让智能体在真实桌面环境中理解界面元素、推理操作逻辑并执行复杂任务。通过提供全分辨率截图、可访问性元数据及混合GUI+API动作空间，GUI-360°填补了现有数据集在任务类型多样性、动作空间覆盖度及失败轨迹分析方面的空白，为训练和评估新一代图形用户界面代理奠定了坚实基础。

当前挑战

GUI-360°数据集面临的核心挑战包括：首先，在领域问题层面，计算机使用代理需应对复杂多变的桌面环境，如应用程序窗口的动态布局、元素遮挡及多任务协作，这对模型的泛化能力提出严苛要求。其次，在数据集构建过程中，自动轨迹收集阶段需处理代理执行时的错误累积与任务中断问题，确保轨迹的完整性与正确性。此外，数据后处理阶段需通过严格验证与清洗机制剔除无效或敏感信息，同时平衡成功与失败案例的分布，以支持鲁棒的模型训练。最后，多模态数据的对齐（如截图与可访问性元数据的融合）及异构动作空间（GUI点击与API调用）的标准化标注，进一步增加了构建难度。

常用场景

经典使用场景

GUI-360°数据集最经典的使用场景在于为计算机使用智能体（CUA）提供大规模、多模态的训练与评估基准。研究者可基于该数据集开展三项核心任务：GUI元素定位（Grounding）、屏幕界面解析（Screen Parsing）以及动作预测（Action Prediction）。具体而言，通过输入应用程序截图与智能体的推理过程，模型需精准输出目标元素的操作坐标；或根据用户查询与当前屏幕上下文，推断下一步应执行的GUI或API动作。这些任务共同构成了从视觉感知到决策执行的完整闭环，为开发能够自主操作Windows办公软件（如Word、Excel、PowerPoint）的智能体奠定了坚实基础。

衍生相关工作

基于GUI-360°数据集，已衍生出多项具有影响力的研究工作。例如，研究者利用该数据集对Qwen-2.5-VL-7B等多模态大语言模型进行监督微调，显著提升了其在GUI元素定位与动作预测任务上的性能。此外，数据集中的失败轨迹被用于分析智能体常见的错误模式，进而推动了基于因果推理的纠错策略研究。同时，该数据集还催生了针对屏幕解析的细粒度评估指标，以及融合无障碍信息的动作预测新范式，为下一代CUA系统的设计提供了丰富的实验素材与理论参考。

数据集最近研究

最新研究方向

GUI-360°数据集聚焦于计算机使用智能体（CUAs）的前沿研究，通过大规模多模态轨迹数据推动GUI自动化与智能交互的边界。该数据集涵盖1.2M+执行步骤，覆盖Windows办公套件（Word、Excel、PowerPoint）的真实场景，并创新性地融合GUI与API混合动作空间，为智能体在复杂桌面环境中的操作推理与决策提供了前所未有的资源。结合当前AI智能体与自动化办公的热点，GUI-360°不仅支撑GUI定位、界面解析与动作预测三大核心任务，还通过成功与失败轨迹的对比分析，赋能鲁棒性学习与错误恢复研究，对推动下一代人机交互系统在真实生产力工具中的落地具有里程碑意义。