jacob-valdez/synthux-economy-r4-w027

SynthUX计算机使用数据集（经济模拟r4）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括数据文件、截图和视频。统计数据包括轨迹数量、视频和帧数、公司数量以及环境分布。生成工具为SynthUX，观察基于因果模拟器状态。The SynthUX Computer Usage Dataset (Economic Simulation r4) is a vision-based computer interaction trajectory dataset generated by SynthUX. Each record represents a device session conducted by a worker in a simulated firm: Operational goals are expanded into a node tree, where terminal nodes drive real desktop emulator applications such as Terminal, Notes, VS Code, browsers, Slack/Teams, Email, Spreadsheets, Slides, etc. via low-level mouse and keyboard inputs, and the observed interaction trajectories are recorded as screen videos paired with frame data for each individual node. This dataset supports native multi-application execution (without workspace overlay), content diversity across individual participants, cross-OS messaging, and large-scale multi-firm economic simulations. Each individual economic simulation is released as a standalone dataset repository. The dataset includes data files, screenshots and videos. Statistical metrics include the counts of trajectories, videos and frames, the number of firms, and environmental distribution profiles. It is generated using the SynthUX tool, with observations grounded in the causal simulator’s state.

搜集汇总

数据集介绍

构建方式

SynthUX-economy-r4-w027数据集基于SynthUX框架构建，专注于模拟多公司经济环境中的桌面计算机使用轨迹。每个数据记录代表一位工作者在模拟公司中的设备会话过程：起始于一个自然语言目标，该目标被扩展为节点树，终端节点驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格等）进行低层级鼠标与键盘输入，完整轨迹以屏幕视频及逐节点帧图像的形式记录。采用应用原生多应用执行方式（无需工作台叠加），并确保每角色内容多样性、跨操作系统信息交互以及大规模多公司经济模拟。当前版本包含36条轨迹、980帧图像及6家模拟公司，覆盖macOS、Windows及浏览器操作系统环境。

特点

该数据集的核心特色在于其多维度真实性与规模化的模拟能力。首先，轨迹数据不仅包含高层次的节点操作序列，还详细记录了每个节点的低层级输入事件（含时间戳）及因果模拟状态，为细粒度行为分析提供了支持。其次，通过多公司经济背景的设置，数据集中融入了组织层级、角色多样性及跨应用交互等真实场景要素，区别于单一任务的GUI数据集。此外，每条轨迹均提供完整的屏幕录制视频及关键帧图像，便于多模态研究与可视化验证。数据采用Apache-2.0许可，开放结构化的JSON记录格式，便于研究者提取与应用。

使用方法

数据集适用于训练与评估面向图形用户界面的智能体模型，特别是需要在多应用、多窗口环境下完成复杂目标的任务。研究者可通过读取data.jsonl文件中的轨迹记录，获取目标、节点操作序列、输入事件及对齐信息，结合screenshots目录下的逐节点帧图像与videos目录中的屏幕录制视频，进行多模态学习或行为克隆。数据的因果捕获特性支持从低层级输入观测中重建代理决策过程，适合用于离线强化学习、监督式微调及模型对齐研究。建议将图像与视频数据作为视觉输入，节点动作序列作为标签，构建端到端的GUI代理训练管道。

背景与挑战

背景概述

SynthUX-Economy-R4-W027数据集由SynthUX团队于近期创建，专注于生成真实的计算机使用轨迹，以模拟企业内部的多应用协同工作环境。该数据集的核心研究问题在于如何通过合成数据驱动图形用户界面（GUI）智能体的发展，使其能够在复杂、跨应用的数字化工作流中自主操作。通过模拟包含多个公司、角色和操作系统的经济体系，SynthUX提供了高度结构化的视觉轨迹数据，涵盖终端、浏览器、办公套件等常见企业应用。这一创新方法不仅填补了真实计算机操作数据稀缺的空白，也为GUI代理的鲁棒性与泛化能力评估提供了标准化的基准，对人工智能在人机交互领域的应用具有显著的推动意义。

当前挑战

该数据集的首要挑战在于解决GUI智能体在真实企业环境下操作的高度复杂性，包括跨应用任务衔接、不同操作系统间的适应性与多角色协作中的变异行为。当前轨迹仅涵盖36个会话与6家公司，样本规模有限，难以覆盖真实世界中不计其数的界面布局与工作流模式。同时，合成数据的构建面临模拟环境保真度的挑战，确保底层输入事件（鼠标、键盘）与观察状态间的因果一致性，并避免高层应用变异带来的干扰。此外，跨平台（macOS、Windows、Web）兼容性的实现，要求每个轨迹精准反映对应操作系统的低层交互特征，显著增加了数据生成与验证的难度。

常用场景

经典使用场景

在智能体行为建模与图形用户界面自动化领域，SynthUX Economy数据集为研究多应用协作环境下的计算机使用轨迹提供了宝贵的资源。其最经典的使用场景是训练和评估能够理解并执行复杂跨应用任务的GUI智能体，例如在一个模拟公司中，智能体需要综合运用终端、浏览器、邮件客户端、即时通讯工具及办公套件，从自然语言目标出发生成低阶鼠标键盘操作序列，最终完成端到端的业务操作。该数据集通过记录完整的屏幕视频、逐节点帧画面以及细粒度的输入事件日志，为研究者提供了真实感十足的多步骤、多应用交互轨迹，成为开发通用计算机使用智能体的标准基准。

实际应用

在实际应用中，该数据集所代表的轨迹生成范式可直接赋能企业级数字员工平台的开发。例如，在财务对账、客户关系管理或供应链协同等场景中，基于该数据集训练的智能体能够自主操作各类企业软件——从浏览器中检索合同信息，切换到邮件客户端发送审批请求，再在表格工具中更新状态，全过程无需人工干预。此外，该数据对跨平台（macOS、Windows、Web）操作的兼容性，使得它特别适用于多终端办公自动化的部署，如远程桌面协助、SaaS工具链编排及企业级RPA流程自动化。这种从视觉输入到因果操作循环的范式，正逐步成为智能运维和数字孪生办公环境的关键技术支撑。

衍生相关工作

基于SynthUX Economy数据集，学术界已衍生出多项开拓性工作。在任务分解方面，研究者利用其节点树结构与目标层级关系，提出了隐式层次化强化学习框架，使智能体能够在长尾操作中高效分配注意力。在多应用状态追踪领域，该数据集的对齐标签机制催生了跨窗口视觉记忆网络模型，实现了不同应用组件间因果关系的端到端建模。此外，以其细粒度输入事件序列为基石，产生了面向GUI智能体行为的模仿学习与逆向强化学习方法，显著提升了从专家演示中提取操作策略的效率。这些衍生工作共同推动了视觉语言模型与交互式AI系统在复杂计算机使用任务中的深度融合与能力跃迁。