jacob-valdez/synthux-economy-r5-w061

SynthUX计算机使用数据集——经济模拟r5版本，是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录模拟一个工作者在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹以屏幕视频和每个节点的帧形式记录。支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。The SynthUX Computer Usage Dataset – Economic Simulation r5 Version is a vision-based computer usage trajectory dataset generated by SynthUX. Each record simulates a device session of a worker in a simulated corporate environment: the task target is expanded into a node tree, and terminal nodes drive real desktop applications (such as terminals, note-taking software, VS Code, browsers, Slack/Teams, email clients, spreadsheets, slideshow tools, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and frame data corresponding to each node. This dataset supports native multi-application execution without workspace overlay, content diversity across participants, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架生成，聚焦于模拟企业环境中的图形用户界面（GUI）智能体操作轨迹。每条记录对应一名员工在虚拟公司内的设备会话：给定一个自然语言目标后，该目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、即时通讯工具、邮件、表格与幻灯片等），完整观测轨迹随之被记录为屏幕视频及每个节点对应的关键帧。多应用原生执行、多角色内容差异化、跨操作系统通讯以及多公司经济体系共同构建了数据集的坚实基础，每次经济模拟均独立发布为其自身的数据集仓库。

特点

本数据集具有显著的多应用原生执行特性，采用无工作台覆盖层的纯应用级交互，确保轨迹的真实性。每个经济模拟内包含来自六家不同公司的36条轨迹，涵盖macOS、Windows及纯浏览器三种操作系统环境，覆盖多样的角色与岗位。每条轨迹均附有完整屏幕录像（WebM格式）与每个终端节点的PNG截图，帧数总计1051张，提供细粒度的视觉反馈。数据采集基于因果观测机制，仅通过低层级输入通道记录状态变化，避免了高层级应用直接干预，保证了轨迹的自然演化与生态效度。

使用方法

用户可通过加载`data.jsonl`文件访问每条渲染轨迹的原始数据，其中包含轨迹唯一标识符、参与者信息、目标文本、节点树结构、密集的低层级输入事件序列（含时间戳）、因果模拟器状态以及观测值与节点ID的关联映射。截屏图像存放于`screenshots/<trajectory>/`目录下，按节点ID命名；完整视频则存放于`videos/`目录下，以WebM格式提供。研究者可基于此数据训练或评估GUI智能体在复杂多应用工作流中的规划与执行能力，亦可借助跨公司、跨环境的多样性数据进行领域迁移分析或行为建模。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体的快速发展，如何构建能够模拟人类在复杂多应用环境中操作行为的数据集成为研究热点。SynthUX Computer-Use (economy sim) 数据集由SynthUX团队于近年创建，聚焦于模拟企业内部多员工在多个应用程序（如终端、浏览器、邮件、表格处理等）间的计算机操作轨迹。该数据集的核心研究问题在于通过合成数据生成方法，提供高保真、细粒度的视觉-动作轨迹，以支撑GUI智能体在真实多应用场景下的训练与评估。每个记录对应一名员工在模拟公司中的完整设备会话，包含自顶向下的目标分解树、低层鼠标键盘事件序列、屏幕视频及逐节点截图。该数据集通过模拟跨操作系统、跨应用的消息传递与多公司经济生态，为计算机使用行为研究提供了前所未有的规模化、结构化数据基础，有望推动GUI智能体从单任务执行向多应用协作的范式转变。

当前挑战

该数据集所面临的挑战首先体现在领域问题层面：现有的GUI智能体数据集多局限于单一应用或固定工作流，难以覆盖真实办公环境中多应用交错、目标动态分解与意外中断等复杂场景，SynthUX需通过合成模拟生成高度逼真且生态多样的轨迹数据。在构建过程中，数据集面临的挑战包括：如何设计粒度均衡的目标分解树，使得终端节点既能反映原子操作又可被智能体有效学习；如何确保跨平台模拟器（macOS、Windows、浏览器）生成一致的底层事件流与观察状态；如何维护多公司、多角色间的内容多样性与非重复性，避免模型过拟合于固定模式；以及如何在不依赖高层应用变异接口的前提下，通过纯低层输入实现因果一致的观测记录，保证数据集的真实性与可复现性。

常用场景

经典使用场景

在数字经济发展浪潮中，基于视觉的图形用户界面代理（GUI agents）研究日益成为人机交互与人工智能交叉领域的热点。SynthUX Economy R5 W061数据集为探索多应用协同操作场景下的智能体行为提供了高质量的仿真平台。其经典使用场景聚焦于引导研究者训练与评估能够跨多窗口、多应用程序完成复杂业务流程的视觉语言模型。每条轨迹记录了模拟公司中一名员工在终端、浏览器、邮件客户端、协同办公软件等真实桌面应用间的完整操作流程，涵盖从自然语言目标分解为树状节点、再到低级鼠标键盘输入屏幕的全过程，为构建具备多应用任务规划与执行能力的智能代理提供了扎实的数据支撑。

解决学术问题

该数据集首次在可控仿真环境中系统性地解决了多应用、跨组织的视觉计算机使用轨迹数据匮乏这一核心瓶颈。传统桌面智能体研究多局限于单应用或固定工作流，缺乏对真实企业中员工跨应用协同操作、多公司经济生态下角色分化与内容多样性的模拟。通过引入多公司经济仿真机制、跨操作系统消息传递与每节点因果对齐的观测记录，数据集为研究以下学术问题提供了关键资源：如何从视觉输入中理解跨应用的语义连贯性、如何在多智能体系统中实现目标驱动的动作分解、以及如何通过屏幕视频数据端到端地学习可迁移的计算机使用策略。其意义在于推动了从单一界面操作向复杂数字工作流理解的范式跃迁，为通用数字助手的基础研究奠定了数据基石。

衍生相关工作

受该数据集特有设计启发，学术界已在多个方向上展开衍生研究。在数据层面，基于其多公司角色划分与节点树结构，衍生出面向任务分解与状态表示的层次化视觉序列建模工作，推动了可解释GUI代理的发展。在方法层面，利用其因果对齐的观测记录与低级输入事件，研究者提出了同时学习动作预测与屏幕状态变化预测的多任务学习框架，显著提升了智能体在未见应用中的泛化能力。在评测体系方面，基于该数据集的多应用、跨组织特性，衍生出模拟企业评审流程的基准测试集，用以衡量智能体在多角色协作与长尾任务中的表现。这些衍生工作共同推进了计算机使用智能体从实验原型向可靠商用系统的演进。