jacob-valdez/synthux-economy-r3-w028

SynthUX计算机使用数据集（经济模拟r3）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含data.jsonl文件（每个渲染轨迹一个记录）、每个终端节点的截图（以节点最后输入事件时刻拍摄）和完整屏幕录制视频。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。本构建版本包含36个轨迹、36个视频、865帧、6个公司，环境分布为browser-os（7）、macos-web-next（16）和windows-web-next（13）。数据生成使用SynthUX，观察结果是因果的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。SynthUX Computer-Use Dataset — economy sim r3 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. The dataset includes data.jsonl (one record per rendered trajectory), screenshots per terminal node (taken at that nodes last input event), and full screen recordings. The record schema covers trajectory_id, actor/company/role/title information, environment, goal, tree nodes, input events, observations, alignment, and media references. This build has 36 trajectories, 36 videos, 865 frames, 6 companies, with environment distribution: browser-os (7), macos-web-next (16), windows-web-next (13). Generated with SynthUX, observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Economy R3 W028数据集源自模拟公司环境中真实工作者设备会话的合成生成。每条记录对应一名员工在模拟公司内的操作轨迹：一个自然语言目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、即时通讯、邮件、表格与幻灯片等）。整个轨迹以屏幕视频及每个节点对应的帧图像形式记录。数据生成采用SynthUX框架的多公司多角色模拟机制，确保每个会话的人员身份、公司归属与角色分工均被详细标注，并经由因果观测通道（低层级输入）记录，避免高层级应用篡改，维持轨迹的真实性与可复现性。

特点

该数据集的核心特点在于其原生多应用执行模式：无需覆盖式工作台，直接操控真实应用程序界面，具备跨操作系统消息交互与每参与者内容多样性。数据涵盖6家模拟公司，共36条完整轨迹，865帧关键帧图像及对应视频，覆盖macOS、Windows及浏览器三种运行环境。每条轨迹包含丰富的结构化字段，包括目标语言的还原、终端节点的动作属性、密集低层级输入事件的时间序列，以及将观测状态与输入事件范围映射至节点ID的对齐信息。这种设计既保留了细粒度交互细节，又提供了高层语义抽象，适用于GUI代理的视觉行为理解与训练。

使用方法

数据集以标准JSONL格式存储于data.jsonl文件中，每条记录对应一条渲染轨迹。配套的screenshots目录按轨迹ID分级存放每终端节点的PNG截图，videos目录则提供完整屏幕录制的WebM格式文件。用户可依据trajectory_id字段索引任意会话，访问actor的角色、公司及目标信息，进而提取节点树结构与输入事件序列进行行为建模。影像数据可直接用于视觉编码器训练或作为仿真环境的观测输入，而aligned字段则为监督学习提供精确的状态-动作时序对。该数据集适用于多应用环境下的GUI代理决策、跨应用任务规划与合成轨迹生成等研究方向。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r3) 数据集由 SynthUX 团队于近期创建，专注于生成基于真实桌面模拟器的图形用户界面（GUI）代理轨迹。该数据集的核心研究问题在于通过模拟多公司经济环境，生成包含低层级鼠标与键盘输入的自然视觉计算机操作序列，以支持 GUI 代理在跨应用、跨操作系统场景下的学习与评估。数据集涵盖 36 条轨迹、865 帧图像，涉及 6 家模拟公司，并跨越 macOS、Windows 及浏览器三种操作系统环境。其独特之处在于采用原生多应用执行模式，摒弃传统工作台叠加层，并通过每角色内容多样性设计，为多智能体协作与复杂工作流研究提供了高质量的基准数据，对推动自动化桌面代理领域的发展具有重要影响力。

当前挑战

该数据集所解决的领域问题核心在于 GUI 代理在面对多应用、多操作系统及多角色经济模拟时的复杂交互挑战。传统代理往往局限于单一应用或受限环境，难以应对真实世界中跨应用数据传递、界面变异及任务依赖等问题。SynthUX 通过模拟低层级输入事件与因果观测状态，迫使代理从像素级信息推断高层操作意图，极大地提升了代理的通用性与鲁棒性。在构建过程中，团队面临两大技术挑战：其一是如何在不依赖高级应用接口（API）的情况下，仅通过原生桌面控制生成真实且因果一致的轨迹；其二是如何设计多公司经济模拟，确保每个角色的内容多样性及跨操作系统消息传递的可行性。这些挑战的克服确保了数据集的高保真度与可扩展性。

常用场景

经典使用场景

SynthUX Economy R3 W028 数据集在计算机视觉与智能体领域开辟了一条崭新的研究路径，其核心价值在于为多应用、多平台的图形用户界面智能体提供了高保真、可复现的合成轨迹数据。研究者能够利用该数据集中涵盖的36条跨平台轨迹、865帧屏幕截图以及完整屏幕录像，深入探索基于视觉的计算机使用任务。其经典的用途在于训练和评估能够自主完成复杂业务流程的GUI智能体，例如在一个模拟公司环境中，智能体需依次操作终端、笔记、浏览器、邮件和即时通讯软件，执行从信息检索到跨应用协作的全链路操作。这种多应用协同执行的场景，使得该数据集成为研究端到端视觉语言模型在桌面自动化中表现的关键基准。

实际应用

在实际应用层面，SynthUX数据集直接赋能企业级自动化软件的研发与迭代。例如，企业可以利用此数据集训练内部虚拟助手，使其能够在真实的Windows或macOS桌面上自动完成财务审批、跨部门数据同步或客户关系管理系统中重复性操作。数据集中包含的跨应用消息传递和多人协作场景，尤其适用于开发能够理解组织级工作流的数字员工。此外，该数据集支持模拟不同角色（如分析师、经理）在各自权限下的操作轨迹，为设计符合企业安全规范的鲁棒自动化工具提供了测试蓝图，从而显著降低人力成本并减少人为操作误差。

衍生相关工作

此数据集的诞生催生了一系列衍生研究，主要集中在三个方向：其一，研究者基于其轨迹结构提出改进的层次化策略网络，将自然语言目标逐步分解为可执行的节点树，推动了任务规划与底层控制的解耦设计；其二，借助其细粒度的输入事件校准信息，衍生出针对GUI智能体的因果诊断框架，使得模型在失败后能精准定位到导致错误的具体节点和交互环节；其三，此数据集的多公司经济模拟为研究多智能体系统提供了实验沙盒，衍生出关于组织级资源竞争与协作博弈的相关工作。这些工作共同拓展了合成数据在复杂人机交互研究中的适用范围，并成为后续大规模GUI基准测试的重要参考标准。