jacob-valdez/synthux-economy-r4-w047

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内部的工作者设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一条记录）、截图文件夹（每个轨迹的每个终端节点帧，在节点的最后一个输入事件时拍摄）和视频文件夹（完整的屏幕录制）。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察、对齐和媒体文件。此构建版本包含36个轨迹、36个视频、932个帧和6个公司，环境分布为browser-os（14）、macos-web-next（11）和windows-web-next（11）。数据来源为SynthUX生成，观察具有因果性（突变通道为低级输入），捕获过程中未使用高级应用程序突变。The SynthUX Computer Usage Dataset is a vision-based computer interaction trajectory dataset generated by SynthUX. Each record represents a simulated worker’s device session within a fictional company: A target task is expanded into a node tree, where terminal nodes drive real desktop emulator applications (e.g., Terminal, Notes, VS Code, Browser, Slack/Teams, Email, Spreadsheets, Slides, etc.) via low-level mouse and keyboard inputs. The observed interaction trajectories are recorded as screen videos and frame images for each node. This dataset supports native multi-application execution (no workspace overlay), diversity of content per participant, cross-operating-system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository. The dataset includes a data.jsonl file (one record per rendered trajectory), a screenshots directory (frame images for every terminal node of each trajectory, captured at the final input event of the respective node), and a videos directory (full screen recordings). Record schemas include trajectory ID, participant information, environment, target task, node tree, input events, observations, alignments, and media files. This release build contains 36 trajectories, 36 videos, 932 frame images, and 6 companies, with environment distributions of browser-os (14), macos-web-next (11), and windows-web-next (11). The dataset is generated via SynthUX, where the observations are causal (the mutation channel consists of low-level inputs), and no high-level application mutations were utilized during the data capture process.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R4-W047数据集的构建依托于SynthUX框架，通过模拟企业环境中多位员工的实际计算机操作轨迹生成。每个数据记录对应一名员工在虚拟公司内的设备会话：预设的自然语言目标被解析为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、通讯软件、办公套件等），并记录下完整的屏幕视频及逐节点帧图像。整个生成过程基于因果观测机制，仅依赖低层输入进行状态变更，确保了轨迹的真实性与可复现性。

特点

该数据集的核心特色在于其多应用、多角色、跨操作系统的原生执行环境，无需叠加工作台插件，直接模拟真实桌面生态。数据涵盖来自6家虚拟公司的36条轨迹，包含932帧图像，覆盖macOS、Windows及Browser-OS三种操作系统环境，体现了跨平台与跨应用的多样性。每位演员拥有独立的身份、公司、角色及标题，保障了内容多样性，同时支持复杂的经济体系模拟与跨组织消息交互，为计算机使用智能体研究提供了丰富且结构化的多模态训练数据。

使用方法

数据集以标准格式发布，主文件data.jsonl包含每条轨迹的完整记录，包括目标、节点树、底层输入事件流、因果观察状态及对齐信息。图像与视频资源分别存放于screenshots/与videos/目录下，便于直接加载与可视化。研究者可通过解析JSON字段提取轨迹ID、演员属性、环境类型及操作细节，结合帧图像与视频进行多模态建模或强化学习任务。数据采用Apache-2.0许可，适用于GUI智能体、人机交互模拟及多应用工作流分析等研究场景。

背景与挑战

背景概述

SynthUX-economy-r4-w047数据集由SynthUX团队于近期创建，专注于生成基于视觉的计算机使用轨迹，旨在模拟真实企业环境中多角色、多应用协同的桌面操作场景。该数据集通过构建包含公司、角色、目标与节点树的模拟经济体系，记录了员工在终端、代码编辑器、浏览器、邮件及办公套件等跨平台应用中的低层级鼠标与键盘交互行为。其核心研究问题在于如何系统性地生成丰富、因果一致且可复现的图形界面操作数据，以推动GUI代理与计算机使用自动化领域的发展。该数据集以多公司经济模拟的形式发布，强调了跨操作系统消息传递与内容多样性，为训练与评估智能体在复杂桌面环境中的任务执行能力提供了规模化、结构化的基准资源。

当前挑战

该数据集所解决的领域挑战在于，现有计算机使用数据集多局限于单一应用或高层级操作记录，缺乏对多应用协同、跨平台任务执行以及低层级输入因果关系的精准建模，限制了GUI代理在真实动态环境中的泛化能力。构建过程中，数据生成面临如何确保轨迹的因果一致性、避免模拟器中高层级操作注入干扰视觉观察的难题；同时，需在保持内容多样性与组织模拟逻辑的前提下，高效生成大量低层级事件与屏幕录像，这对系统架构的实时性与扩展性提出了严峻要求。此外，跨操作系统环境（macOS、Windows、浏览器）的兼容性以及多角色、多公司场景下的行为真实性与冲突处理，也是数据集构建中的关键挑战。

常用场景

经典使用场景

在图形用户界面智能体（GUI Agent）研究领域，SynthUX Economy数据集为评估多应用协同操作能力提供了前所未有的精细基准。数据集精心设计了36条包含完整鼠标键盘事件序列的轨迹，每条轨迹都记录了模拟公司中一名员工在终端、代码编辑器、浏览器、邮件和即时通讯工具等多应用环境下完成自然语言目标的完整过程。研究者可以利用这些丰富的多模态数据——包括全屏视频和每个节点的关键帧——来训练和测试能够跨应用执行复杂工作流的智能体，尤其关注其在真实桌面环境中的视觉理解与底层操作能力。

实际应用

在产业实践中，该数据集直接赋能企业级自动化助手的研发。通过在此数据上训练的GUI智能体，可以为知识工作者实现繁琐操作的自动化，例如自动生成跨平台报表、在邮件中提取关键信息并同步至内部系统、或是根据会议记录自动创建待办事项。数据集中体现的不同操作系统（macOS和Windows）特性，还使开发的智能体天然具备跨平台适应能力，这对于需要统一管理异构设备的企业IT部门具有显著吸引力。此外，每个模拟公司的独特组织结构也意味着智能体能够学习适应不同的角色权限与沟通规则。

衍生相关工作

SynthUX Economy数据集催生了多个富有启发性的衍生研究方向。基于其记录的多公司经济模拟场景，出现了聚焦于组织层面工作流学习的先驱工作，研究者尝试从历史轨迹中归纳出公司特有的最佳实践模式并将其注入智能体训练。另有一支重要的衍生工作致力于视频与事件序列的因果对齐学习，利用本数据中清晰的观测-事件映射关系来提升模型对界面状态变迁的理解。还有团队基于其多应用特性开发了跨应用知识迁移的评测协议，检验智能体是否能够将在某类应用上习得的操作策略灵活迁移到未曾见过的软件环境中。