jacob-valdez/synthux-economy-r5-w029

SynthUX计算机使用数据集（经济模拟r5）是一个基于SynthUX生成的视觉计算机使用轨迹数据集，模拟公司内部的工作会话。每个记录代表一个工作者在模拟公司设备会话中的轨迹：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用（如Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频加上每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布，包含数据记录、截图和视频文件。The SynthUX Computer-Use Dataset (economy sim r5) is a grounded visual computer-use trajectories dataset generated by SynthUX, simulating worker device sessions inside a company. Each record represents one workers session: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (e.g., Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo, including data records, screenshots, and videos.

搜集汇总

数据集介绍

构建方式

本数据集通过SynthUX框架合成生成，聚焦于模拟公司环境中工作人员的桌面操作轨迹。每个记录对应一名工作者在虚拟组织内的设备会话，自然语言目标被解析为节点树，终端节点通过底层鼠标与键盘交互驱动真实桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并记录完整的操作过程。数据采集采用因果模拟机制，仅依赖低层级输入变化捕获状态，无需高层应用变异干预。每条轨迹以屏幕视频和逐节点帧形式呈现，涵盖跨操作系统消息传递与多公司经济生态，确保内容多样性与场景真实性。

使用方法

数据集以JSONL格式存储每条轨迹的元数据与事件序列，可通过标准JSON解析库加载。每条记录包含唯一标识符、参与者身份、公司归属、角色及操作系统环境等字段，便于按条件过滤与分组分析。媒体文件按轨迹ID和节点ID组织在独立的screenshots与videos目录下，支持视觉轨迹重建与仿真评估。研究者可结合输入事件序列与对齐信息，分析GUI代理在不同应用间切换时的决策逻辑与行为模式，适用于计算用户界面智能体训练与基准测试任务。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体技术的迅猛发展，模拟真实办公环境中的计算机使用行为已成为人工智能研究的前沿课题。SynthUX Computer-Use (economy sim) 数据集由研究团队基于 SynthUX 框架生成，旨在解决多应用协同办公场景下智能体轨迹数据的稀缺问题。该数据集发布于2025年，通过模拟多公司经济体系，记录了36条完整的桌面操作轨迹，涵盖macOS、Windows及浏览器三种操作系统环境。核心研究问题聚焦于如何生成真实、多样化的GUI操作数据以支撑智能体训练与评估。其独特价值在于提供了跨应用、跨操作系统的原生执行轨迹，为计算机使用智能体的研究树立了新的基准，对推动人机交互智能化进程具有重要影响力。

当前挑战

当前数据集面临的首要挑战在于所解决的领域问题——GUI智能体在真实多应用环境中的泛化能力不足。尽管数据集模拟了经济体系中的多角色协作，但智能体仍需处理跨邮件、即时通讯、文档编辑等多应用的复杂任务切换与状态同步，这要求模型具备极强的上下文理解与规划能力。构建过程中，主要挑战包括：如何通过低层级鼠标/键盘输入生成完全因果的轨迹，避免高层API干预以保证真实性；如何确保跨OS消息系统的一致性及多公司网络拓扑的动态变化对轨迹多样性的影响；以及如何高效捕获每秒数千帧的屏幕记录并与节点对齐，这对数据存储与标注精度提出了严峻考验。

常用场景

经典使用场景

SynthUX Economy R5 W029 数据集专为多应用协同的图形用户界面（GUI）代理研究而设计，其核心使用场景在于模拟一个由多个虚拟公司组成的微型经济体中，每位员工（即GUI代理）如何通过操作系统原生应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和演示文稿等）完成自然语言描述的工作目标。每个数据样本记录了一条完整的屏幕操作轨迹，包括低层级的鼠标和键盘事件序列、对应的屏幕视频以及每个关键节点的截图，为构建和评估能够在复杂多应用程序环境中自主执行任务的GUI智能体提供了高保真的训练与测试基准。

解决学术问题

该数据集有效解决了传统GUI代理研究中两大核心学术瓶颈：一是跨应用协作的复杂任务分解与执行问题，二是缺乏同时具备高保真度、大规模性和多样性的大规模合成轨迹数据。通过引入多公司经济体仿真环境，数据集在同一个工作会话中自然地包含了多种桌面应用程序之间的数据传递与操作衔接，推动了对代理在真实办公场景下长序列多步推理与规划能力的研究。其重要意义在于填补了开源社区在具有原生应用级交互（而非网页覆盖层）的GUI代理数据集上的空白，为后续大规模预训练和通用GUI智能体的基准评测奠定了数据基石。

实际应用

在实际应用中，该数据集可直接服务于企业级自动化办公助手、软件测试中的UI自动化脚本生成、以及跨平台工作流编排系统的研发。例如，基于该数据训练的模型可以自动处理员工入职流程中的账户创建、权限配置、邮件通知发送等多步骤操作，或协助财务人员进行跨应用的数据汇总与报表生成。此外，由于其数据覆盖macOS、Windows和浏览器三个操作系统环境，该数据集还天然适用于研究跨平台GUI控制的迁移学习问题，为下一代通用型桌面数字助理的落地提供了切实可行的训练数据来源。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的图形用户界面代理（GUI Agent）研究，通过模拟真实企业环境中的跨平台桌面操作轨迹，为开发具备多步骤任务规划与低层级交互能力的智能体提供了关键资源。当前前沿方向集中在利用合成数据驱动的基础模型训练，以增强AI在复杂企业工作流中的操作自主性与鲁棒性，尤其在多应用切换、跨操作系统通信及实时反馈闭环上具有突破性意义。