jacob-valdez/synthux-economy-r3-w008

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r3 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 1160 - companies: 6 - by env: browser-os (12), macos-web-next (13), windows-web-next (11) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

本数据集源于SynthUX生成框架，专注于模拟企业环境中的图形用户界面（GUI）智能体轨迹。每个数据记录对应一名虚拟员工在模拟公司内的设备会话，其构建流程始于一个自然语言目标，该目标被逐级展开为一棵节点树，终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格与演示文稿等）。整个执行过程不依赖于工作台叠加层，而是直接调用应用原生界面，并录制完整的屏幕视频与逐节点帧图像，最终形成结构化轨迹。

特点

本数据集的核心特色在于其多应用协同、多演员内容异质性以及跨操作系统的通信能力。它模拟了包含多家公司的大型经济体系，每次模拟均独立发布为数据集仓库，体现出高度的可扩展性与领域针对性。记录涵盖36条轨迹、1160帧图像，涉及6家虚拟企业，且在macOS、Windows与纯浏览器三种模拟环境中均衡分布。每条轨迹均包含密集的低层级输入事件、因果模拟器状态及观察与事件的节点对齐信息，为构建和评估具备跨应用操作能力的GUI智能体提供了丰富且真实的训练素材。

使用方法

本数据集以标准格式提供，便于直接用于机器学习研究。主数据文件为JSON Lines格式，每条记录包含轨迹元数据、目标描述、节点树结构、密集输入事件序列以及因果状态观察。媒体文件按轨迹组织，屏幕录像以WebM格式存储于videos目录，逐节点帧图像存放于screenshots下的对应子文件夹。用户可解析data.jsonl中的alignment字段，将观察与输入事件片段映射至特定节点，从而支持细粒度的行为建模、智能体训练或模拟评估，且无需额外预处理即可集成到现有工作流中。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于计算机使用行为模拟领域。该数据集的核心研究问题在于通过合成数据生成多应用、多操作系统的桌面级图形用户界面（GUI）代理行为轨迹，以推动人机交互与自动化代理的研究。数据集模拟了一个包含六家公司、多角色员工的经济仿真环境，记录了36条完整的桌面操作轨迹，涵盖终端、浏览器、办公软件等多应用场景。其独特之处在于采用低层级的鼠标键盘输入作为因果观测通道，而非高层级应用接口操纵，从而更贴近真实用户行为。这一数据集为GUI代理训练、多任务规划与屏幕理解研究提供了首个大规模、结构化、多机构的经济场景基准，对推动具身智能体在复杂桌面环境中的自主决策能力具有重要影响力。

当前挑战

该数据集所解决的领域问题挑战在于：现有GUI代理数据集多局限于单应用、单操作系统场景，缺乏跨应用协调与多机构经济生态下的任务执行能力，导致代理无法应对真实办公环境中多窗口切换、跨平台消息传递与角色协作的复杂性。构建过程中面临的主要挑战包括：确保多公司经济仿真中角色身份、内容偏好的多样性以避免数据同质性；设计低层级输入事件与高层级任务目标的对齐机制，使得1520个终端节点产生的1160帧观察能够准确映射至原始任务意图；以及在不同操作系统模拟器（macOS、Windows、浏览器）间维持一致的因果观测通道，规避高级API对传统屏幕理解能力的削弱。这些难题的攻克使得数据集的生态模拟真实性与代理训练通用性得到显著提升。

常用场景

经典使用场景

在计算系统人机交互与智能代理研究的交汇处，SynthUX Economy R3 W008数据集为多应用桌面环境下的图形用户界面代理（GUI agent）行为建模提供了独特的测评基准。该数据集通过模拟虚拟公司中不同角色员工在真实桌面操作系统（如macOS、Windows及浏览器环境）上的计算机操作轨迹，将自然语言目标分解为可执行的原子节点树，并记录下完整的鼠标键盘事件序列与屏幕视频。研究者可利用此数据集训练和评估能够跨应用执行复杂任务的视觉语言模型，使其理解如邮件收发、Slack沟通、表格编辑等多应用协同工作流，从而推动从静态界面理解迈向动态跨应用操作的智能体能力跃迁。

衍生相关工作

该数据集的发布已催生了一系列富有启发性的后续工作。首先，基于其因果性观测设计，研究者们开发了面向GUI代理的轨迹对齐与动作分段算法，利用每帧与终端节点的对应关系，自动从原始屏幕视频中提取高层语义的子目标序列。其次，以SynthUX数据为训练集，涌现了一批针对多应用长序列规划的模仿学习与强化学习模型，这些模型不再局限于单一窗口内的点击预测，而是学会了跨应用切换、剪贴板传递与多窗口并行操作等高级技能。此外，该数据集还推动了多智能体协作仿真框架的构建，使得不同虚拟公司的代理能够在共享经济环境中互动，模拟真实业务中的上下游协作与信息周转，为人机协同的系统级评测开辟了崭新路径。

数据集最近研究

最新研究方向

该数据集聚焦于多应用协同的计算机使用场景，通过模拟企业内部经济系统中的多角色设备会话，生成包含跨操作系统通讯、多公司交互的视觉化计算机操作轨迹。其前沿性体现在利用合成数据生成技术，为图形用户界面代理研究提供了细粒度、多模态的轨迹数据，涵盖屏幕视频、逐节点帧及底层输入事件，助力复杂任务分解与GUI代理的环境泛化研究。当前，合成数据驱动的大规模GUI代理训练正成为热点，此数据集通过模拟真实多应用协作经济体系，解决了真实数据获取成本高、隐私受限的痛点，推动计算机使用自动化向更复杂的协同任务迈进，对提升智能代理在企业级场景中的适应性与鲁棒性具有重要价值。