jacob-valdez/synthux-economy-r5-w060

SynthUX计算机使用数据集——经济模拟r5，由SynthUX生成的基于视觉的计算机使用轨迹。每条记录代表模拟公司内一名员工的设备会话：一个目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。SynthUX Computer Usage Dataset – Economic Simulation r5, a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of an employee within a simulated company: a goal is expanded into a node tree, where terminal nodes drive real desktop emulator applications (e.g., terminal, notes, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and frames for each node. This dataset supports native multi-application execution of applications (no workspace overlay), content diversity across individual participants, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

在数字化办公日益复杂的今天，GUI智能体需在多应用交织的生态中完成高精度操作。SynthUX-economy-r5-w060数据集应运而生，它是通过SynthUX框架生成的计算机使用轨迹集合。每个数据记录模拟了公司内一名员工的设备会话：一个自然语言目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用，涵盖终端、笔记、VS Code、浏览器、即时通讯软件、邮件、表格及幻灯片等工具。整个执行过程基于应用原生操作，摒弃了工作台覆盖层，并采用因果观测机制，确保只通过低层级输入通道捕获状态变化，最终形成包含屏幕视频与逐节点帧画面的完整轨迹记录。

使用方法

研究人员可通过加载data.jsonl文件获取每条轨迹的结构化记录，包括目标描述、节点树、输入事件流与状态观测。屏幕录影以webm格式存储于videos目录，逐节点截图则以PNG格式存放于screenshots文件夹内，便于进行多模态分析。该数据集适用于训练和评估能够跨应用执行复杂任务的视觉GUI智能体，尤其适合研究多公司经济模拟中的协作与决策行为。使用时需注意区分不同的模拟环境类型，并参考trajectory.alignment字段实现观测帧与操作事件的精确关联，以支撑细粒度的行为建模与性能分析。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于 2025 年创建，专注于生成基于视觉的计算机使用轨迹，以研究多应用协同操作的 GUI 代理。该数据集模拟了一个多公司经济环境，记录了员工在真实桌面模拟器（如终端、浏览器、Slack 等）上的操作过程，包括屏幕视频和逐节点帧。其核心研究问题在于如何通过合成数据推动 GUI 代理在复杂多任务场景中的泛化能力。该数据集通过提供低层输入事件和因果状态观察，为计算机使用领域的研究提供了结构化基准，对自动化桌面操作、人机交互和智能代理开发具有显著影响力。

当前挑战

该数据集面临的挑战包括：1) 在领域问题层面，如何解决 GUI 代理在跨应用、多任务经济模拟中的自适应执行，尤其是在不同操作系统环境（macOS、Windows、浏览器）间的无缝迁移与泛化；2) 在构建过程中，如何确保合成轨迹的因果一致性，即仅通过低层输入驱动应用状态变化，避免高层应用突变引入的噪声；同时，需在有限轨迹（36条）下保持多公司、多角色内容的多样性，并平衡帧数量（1112帧）与视频录制的计算资源开销。

常用场景

经典使用场景

SynthUX-Economy-R5-W060数据集专为多应用图形用户界面（GUI）代理研究而设计，其经典使用场景聚焦于模拟企业环境中，代理需跨多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等）协同完成复杂任务。每条轨迹记录涵盖从自然语言目标分解为节点树、经由底层鼠标和键盘操作驱动真实模拟器应用、直至最终完成目标的完整过程。该数据集凭借其丰富的跨应用交互、跨操作系统消息传递及多公司经济模拟特性，成为训练和评估具备多步推理与工具使用能力的GUI代理的理想基准。

解决学术问题

该数据集旨在攻克GUI代理研究领域中长期存在的关键难题：如何在高保真、多应用并行的动态环境中构建可泛化的智能化代理。传统数据集多局限于单一应用或静态网页，缺乏对企业级多应用协同场景的真实表征，致使代理难以应对跨应用状态依赖与异常恢复等实际挑战。SynthUX通过引入因果观测机制与底层输入事件流，确保了每条轨迹的因果一致性，为研究代理在复杂多步任务中的规划、纠错与自适应能力提供了坚实基础。其深远意义在于推动代理从实验室简化场景迈向真实企业数字化转型的实质性跨越。

实际应用

在实际应用层面，该数据集为企业自动化工作流与数字员工系统研发提供了核心支撑。基于这些高保真轨迹，开发者可构建能够自主操作多种企业软件（如管理代码仓库、处理客户邮件、更新电子表格、参与团队群聊）的智能代理，显著提升运营效率并降低人力成本。例如，代理可依据自然语言指令完成跨系统的数据整合与报表生成，或在模拟供应链中断时自动协调多个部门工具以执行恢复策略。此外，该数据集还可用于验证代理在异构操作系统环境下的兼容性与鲁棒性，为金融机构、科技企业的数字化转型提供可复用的技术基线。

数据集最近研究

最新研究方向

SynthUX Economy R5 W060数据集聚焦于多应用协作环境下GUI代理的计算机使用行为模拟，前沿研究方向涵盖合成轨迹生成、跨平台人机交互与多智能体经济系统建模。通过模拟六家公司的36条完整设备会话轨迹，每条包含自然语言目标分解为节点树、终端节点驱动的低层级鼠标键盘操作记录及全屏视频，该数据集为训练能够理解复杂多步工作流的GUI代理提供了高质量、高保真的训练与评估基准。结合近期AI代理在自动化办公、软件测试与数字孪生领域的热点需求，SynthUX项目强调了从单一应用控制向多应用、跨操作系统、多角色经济系统交互的范式转变，其影响力在于推动了可泛化的计算机使用智能体从实验室走向真实企业场景，为构建具备环境感知、因果推理与自适应能力的下一代人机协同系统奠定了数据与评估基础。