jacob-valdez/synthux-economy-r3-w002

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r3 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 797 - companies: 6 - by env: browser-os (13), macos-web-next (13), windows-web-next (10) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.The SynthUX Computer-Use Dataset (economy sim r3) is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. The dataset features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots folder (a frame per terminal node taken at that nodes last input event), and videos folder (the full screen recording). The record schema includes fields such as trajectory_id, actor information, environment, goal, tree nodes, input events, observations, alignment, and media files. Statistics for this build show 36 trajectories, 36 videos, 797 frames, 6 companies, with environment distribution: browser-os (13), macos-web-next (13), windows-web-next (10). The dataset is generated with SynthUX, and observations are causal with low-level input used during capture.

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use (economy sim) 数据集，其构建根植于多企业经济模拟的宏大叙事背景之中。每个记录对应一名虚拟员工在模拟公司内部的完整设备操作会话。构建流程始于一个自然语言目标，该目标被逐层扩展为节点树，叶节点通过低层级鼠标与键盘指令驱动真实桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格与演示文稿等）。整个交互过程被完整捕获，生成屏幕视频及每节点对应的帧图像，从而将复杂的人机交互行为凝结为结构化的数据轨迹。

特点

该数据集的核心特色在于其原生的多应用执行模式，摒弃了传统的工作台覆盖层，实现了应用间的无缝协作。跨操作系统的消息传递机制、基于角色的内容多样性以及容纳多个公司并存的大规模经济模拟环境，共同塑造了其独一无二的数据生态。每一帧截图均精确对应叶节点的最后输入事件，而轨迹的因果观测状态则忠实记录了模拟器的实时变迁，为深度分析提供了坚实可靠的依据。

使用方法

研究人员可直接加载 `data.jsonl` 文件以获取每条轨迹的完整元数据，包括参与者身份、组织归属、目标描述及详细的节点树结构。若要复现或审视完整的交互过程，可访问 `videos/` 目录下的 WebM 格式屏幕录制视频。对于需要逐帧细粒度分析的场景，`screenshots/` 文件夹中按轨迹标识符组织的 PNG 图像提供了每个终端节点的视觉快照，与 `trajectory.input_events` 中的时间戳及 `trajectory.alignment` 的关联信息相结合，即可实现事件与画面的精准对齐。

背景与挑战

背景概述

SynthUX Computer-Use数据集由SynthUX团队于近期构建，旨在为图形用户界面（GUI）代理研究提供高保真的计算机使用轨迹数据。该数据集的创建源于对现有GUI代理训练数据高度受限、缺乏多应用协作场景的认知，核心研究问题聚焦于如何生成具有多公司经济模拟背景的视觉化计算机操作流程。数据集通过模拟六家不同公司中每位员工的设备会话，将自然语言目标分解为节点树，并驱动桌面模拟器应用（如终端、浏览器、办公软件等）执行底层鼠标键盘操作，最终以屏幕视频和逐节点帧的形式记录完整轨迹。其影响力体现在为多应用跨平台GUI代理的实证研究提供了可复现的基准，尤其在经济模拟场景下推动了代理泛化能力的探索。

当前挑战

该数据集面临的核心挑战包括：首先，领域问题层面，现有GUI代理数据多局限于单一应用或任务，缺乏对多公司、多角色协作场景的覆盖，导致代理无法应对真实办公环境中跨应用联动的复杂性；其次，构建过程中需解决高保真模拟与数据多样性的矛盾，即在合理计算成本内生成包含36条轨迹、797帧画面的密集事件流，并确保不同操作系统环境（macOS、Windows、浏览器）下的操作一致性；此外，如何通过低层级输入事件而非高层应用接口实现因果模拟，避免数据泄露，亦构成了技术实现上的显著挑战。

常用场景

经典使用场景

SynthUX Economy R3 W002数据集专为计算机使用（computer-use）领域的多应用GUI代理研究而设计，其经典应用场景是模拟企业环境中多位员工在多个桌面应用程序间的协同操作轨迹。具体而言，研究者可基于该数据集训练和评估能够理解复杂跨应用工作流的智能代理，例如要求代理在终端、VS Code、浏览器、Slack、邮件和电子表格等工具之间无缝切换，完成诸如数据查询、代码编辑、消息沟通和文档生成等连贯任务。数据集中每条轨迹均包含完整的屏幕录像、逐帧截图以及低层级鼠标键盘事件序列，为模拟真实办公场景下的多步骤、多应用交互范式提供了可靠的基准。

衍生相关工作

该数据集的出现催生了一系列后续研究方向，最直接的是基于其多公司经济模拟框架衍生的跨组织协同代理模型，研究者尝试利用数据集中的角色身份与组织层级信息，训练能够自主分配任务并协调多代理冲突的规划算法。进一步地，数据集的低层级操作对齐数据推动了从屏幕像素到语义指令的逆向工程研究，例如开发能够自动从录像中抽取可执行的桌面操作流程的工作流解析器。更宏观层面，该数据集启发了面向动态环境的经济模拟器设计，多条轨迹中隐含的部门间依赖关系被用于构建表征企业运作模式的图神经网络，从而评估代理在模拟经济生态中的长期适应能力。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的桌面GUI代理研究，通过模拟企业内多个角色在真实操作系统（macOS、Windows、浏览器）上执行经济模拟任务，生成包含完整鼠标键盘操作的视觉轨迹数据。其前沿价值在于为计算机使用智能体提供了跨应用、跨平台的细粒度行为记录，支持从底层输入到高层目标的因果对齐分析，从而推动GUI自动化代理在复杂多步骤商业场景中的可信部署与效能评估。