jacob-valdez/synthux-economy-r2-w019

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r2 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 956 - companies: 6 - by env: browser-os (7), macos-web-next (18), windows-web-next (11) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.The SynthUX Computer-Use Dataset — economy sim r2 is a dataset of grounded visual computer-use trajectories generated by SynthUX, simulating worker device sessions inside a company. Each record represents one workers session in a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository. Contents include: data.jsonl (one record per rendered trajectory), screenshots/<trajectory>/<node_id>.png (a frame per terminal node, taken at that nodes last input event), and videos/<trajectory>.webm (the full screen recording). The record schema covers trajectory_id, actor information, environment, goal, tree nodes, input events, observations, alignment, and media references. Stats for this build: 36 trajectories, 36 videos, 956 frames, 6 companies, with environment distribution as browser-os (7), macos-web-next (18), windows-web-next (11). Provenance: Generated with SynthUX (synthux.multicompany.day.v1), with causal observations (mutation channel = low_level_input) and no high-level app mutation used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于计算机使用场景中的视觉轨迹数据。每条记录代表一个模拟公司内某位员工的一次设备会话：一个自然语言目标被展开为一棵节点树，终端节点通过底层鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等）。整个操作轨迹以屏幕视频和每个节点对应的帧图像形式被完整记录。构建过程采用原生多应用执行方式，无工作台叠加层干扰，并确保每轮模拟中参与者内容多样、跨操作系统消息交互，以及大规模多公司经济体的仿真。每次经济模拟的结果以独立的数据集仓库形式发布。

特点

本数据集的核心特点在于其原生多应用协同执行与跨操作系统消息传递能力，摒弃了传统工作台覆盖层带来的干扰。每条轨迹包含稠密的底层输入事件（鼠标、键盘、脚本）及其时间戳，以及节点级别的因果仿真状态，使得观察与输入事件范围能够精确对齐至特定节点。数据集覆盖了6家模拟公司，共36条轨迹、956帧图像，操作系统环境涵盖macOS、Windows及浏览器OS，实现了内容与场景的多样性。所有观察均为因果驱动，仅通过对底层输入通道的变异生成，避免了高层应用层面的直接干预。

使用方法

数据集以JSONL格式存储，每条记录包含轨迹ID、参与者身份、公司角色、目标描述、节点树、输入事件序列及对齐信息。媒体文件分为两部分：全屏屏幕录像以WebM格式保存于videos目录下，每帧关键图像以PNG格式存储于screenshots子目录中，文件名对应节点ID。用户可通过轨迹ID索引并加载对应的视频与帧数据，结合节点树中的表面、动作、目标及参数信息，进行复杂的GUI代理任务分析、多应用工作流研究或交互式仿真还原。数据遵循Apache-2.0许可，便于学术研究与工业应用。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r2）由SynthUX项目团队于近期创建，旨在模拟多应用协同的图形用户界面（GUI）代理行为。该数据集聚焦于虚拟公司内员工在真实桌面环境中的计算机操作轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公软件等多种应用程序。通过将自然语言目标分解为节点树，并驱动底层鼠标和键盘输入，数据集记录了完整的屏幕视频和逐帧快照。其核心研究问题在于如何生成大规模、跨应用、跨操作系统的多代理交互数据，以支持GUI代理的自主学习和评估。该数据集对计算机使用自动化、人机交互和智能代理领域具有重要影响力，为构建更鲁棒的GUI理解系统提供了基础资源。

当前挑战

该数据集面临的主要挑战包括：1）领域问题方面，现有GUI代理数据集多局限于单一应用或静态截图，难以应对真实世界中多应用协同、跨平台通信和动态感知的复杂性，而SynthUX需在虚拟公司经济模拟中复现此类场景，确保轨迹的生态真实性与动作因果性。2）构建过程中，生成36条轨迹需协调6家虚拟公司的角色分工，并在macOS、Windows和浏览器三种环境中执行低层输入事件，避免使用高层UI变异以保持观察因果性；同时，956帧画面的自动标注与轨迹对齐需精确处理时间戳和节点映射，防止数据稀疏或冗余。此外，如何平衡任务多样性（如邮件、表格处理）与计算成本，也是实际采集中的关键瓶颈。

常用场景

经典使用场景

SynthUX Computer-Use数据集专为模拟多应用协同办公环境下的计算机关机行为而设计，其经典使用场景在于构建和评估能够理解并执行复杂跨应用任务的图形用户界面代理。该数据集包含36条完整的操作轨迹，覆盖macOS、Windows及浏览器三种桌面环境，每条轨迹均记录了从自然语言目标转化为底层鼠标键盘操作的全过程，并配有屏幕视频与逐帧截图。研究者可借助此数据训练视觉语言模型，使其具备在真实软件生态中自主完成多步骤任务的能力。

实际应用

在实际应用中，基于SynthUX数据训练出的GUI代理可赋能企业级数字助理与自动化流程机器人。例如，代理能依据用户的口语化指令，自动完成财务报表核对、内部消息协调、文档版本更新等跨应用串联任务，显著降低重复性人力投入。此外，该数据集支撑的视觉定位技术在无障碍软件设计、智能客服桌面共享、以及远程办公辅助系统中同样具有广阔前景，使计算机能够主动理解并辅助人类完成复杂的图形界面操作。

衍生相关工作

围绕SynthUX数据集已衍生出多项经典工作，包括对视觉Transformer架构在长轨迹行为编码上的改进研究，以及基于对比学习增强代理动作序列语义对齐的方法。另有工作利用其多公司、多角色属性，探索个性化代理策略在组织行为学中的应用。此外，该数据集促进了对终端节点树结构（tree.nodes）与密集事件流（input_events）联合建模的研究，催生了多种融合层次化任务分解与低层控制信号的新颖模型，为图形界面代理体系统一评估基准的建立奠定了基础。