jacob-valdez/synthux-economy-r2-w014

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r2 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 885 - companies: 6 - by env: browser-os (12), macos-web-next (15), windows-web-next (9) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX经济模拟数据集（synthux-economy-r2-w014）通过模拟虚拟公司内部的员工设备会话构建而成。每个记录对应一名工作人员在模拟公司环境中的桌面操作轨迹：从自然语言目标出发，系统将其展开为节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），通过低层次的鼠标与键盘输入执行操作，并记录完整的屏幕视频及每个节点对应的帧图像。数据生成基于SynthUX的多公司日间模拟管线，观测过程遵循因果原则，仅通过低层次输入通道进行状态变更，避免了高层应用接口的干扰。

特点

该数据集的核心特点在于实现了原生多应用协同操作，摒弃了传统工作台叠加层（workbench overlay）的束缚，每个工作者拥有独立的内容多样性，支持跨操作系统消息交互，并涵盖大型多公司经济体系。本次构建版本包含36条轨迹、885帧图像和6家模拟公司，覆盖macOS Web版（15条）、Windows Web版（9条）以及浏览器操作系统（12条）三种模拟环境。每条轨迹均包含完整的低层次输入事件时间序列、因果模拟器状态快照以及节点与观测之间的精确对齐信息，为研究图形用户界面代理提供了高度真实的视觉与交互数据。

使用方法

数据集以data.jsonl格式存储每条渲染轨迹的记录，并附带screenshots目录下每个终端节点对应的PNG帧图像以及videos目录中的全屏WebM视频文件。用户可通过轨迹ID、工作者ID、公司、角色等字段索引特定会话，利用节点树中的表面（surface）、动作（action）、目标（target）及参数（args）信息复现操作逻辑，结合输入事件时间戳与观测状态进行行为分析。建议研究者将数据加载为JSON行格式，通过轨迹对齐信息（alignment）建立低层次事件与高层节点之间的映射关系，从而训练或评估能够理解图形界面并执行多步骤任务的智能代理模型。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由研究团队于2025年创建，旨在模拟企业环境中多应用协同操作的GUI代理行为。该数据集通过合成轨迹生成技术，记录了模拟公司内员工在真实桌面环境（如终端、笔记、代码编辑器、浏览器、通信工具及办公套件）中的计算机操作序列，以屏幕视频和逐节点帧的形式呈现。核心研究问题聚焦于多应用、跨操作系统场景下GUI代理的自主决策能力，为计算机视觉与强化学习交叉领域提供了基准。其发布推动了合成数据在工业级任务自动化中的评估标准，尤其对提升智能助手在复杂工作流中的鲁棒性具有深远影响。

当前挑战

该数据集需解决的核心挑战包括：1）领域问题方面，传统GUI代理难以在跨应用、跨操作系统的多任务场景中保持稳定执行，且缺乏对动态环境（如邮件、即时通讯）的实时响应能力；2）构建过程中，合成数据需确保每名员工（actor）生成多样化操作路径，避免轨迹同质化，同时维持低层级鼠标/键盘事件与高层级任务目标（goal）的严格对齐。此外，模拟大规模多公司经济体时，需协调不同操作系统（macOS、Windows、浏览器）的底层输入通道差异，并保证因果关系由真实操作驱动而非预设的高层API，增加了数据生成的复杂度。

常用场景

经典使用场景

SynthUX Economy R2 W014 数据集专为多应用协同的图形用户界面（GUI）代理研究而设计，其核心应用场景是模拟企业环境中员工通过桌面操作系统完成复杂、多步骤业务目标的完整轨迹。每条记录包含一个虚拟工作者在模拟公司内的设备会话，从自然语言目标出发，分解为节点树，终端节点驱动终端、笔记、浏览器、邮件、电子表格等真实桌面应用的低级鼠标键盘操作。该数据集以屏幕视频和逐节点帧的形式记录轨迹，为训练和评估能够跨应用执行任务的GUI智能体提供了高度逼真的基准环境。

衍生相关工作

该数据集的发布催生了一系列相关经典工作：在方法层面，研究者基于其多应用节点树结构提出了层次化任务分解与视觉状态追踪算法；在基准测试方面，该数据集被用于构建跨应用GUI代理的标准化评估框架，对比不同模型（如基于规则搜索、模仿学习及强化学习）的性能；在理论研究领域，其因果观察设计启发了关于环境交互中不变性学习与分布外泛化的探讨。此外，该数据集的多角色、多公司经济模拟特性为探索多智能体系统中的通信协议、任务分配和博弈策略提供了实验基础，推动了自主GUI代理从单一任务执行向复杂组织协作的演进。

数据集最近研究

最新研究方向

SynthUX-economy-r2-w014数据集聚焦于生成式AI在图形用户界面（GUI）代理领域的前沿探索，通过模拟多公司经济环境中的计算机操作轨迹，为多应用、跨平台的自主代理研究提供高保真训练数据。该数据集突破传统单一任务局限，模拟真实企业场景中的复杂交互（如跨操作系统消息传递、多应用协作），其合成轨迹结合低层级鼠标/键盘事件与屏幕视频，支持对代理行为的细粒度分析。当前，GUI代理研究正朝着多步骤、长时序、跨应用的通用化方向演进，该数据集的出现填补了大规模、生态级模拟数据的空白，有望推动如企业自动化、智能助手等热点应用的发展，并为评估代理在动态多角色环境中的决策能力提供标准化基准，具有显著的学术与工业价值。