jacob-valdez/synthux-economy-r2-w022

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r2 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 968 - companies: 6 - by env: browser-os (11), macos-web-next (14), windows-web-next (11) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.SynthUX Computer-Use Dataset — economy sim r2: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data.jsonl (one record per rendered trajectory), screenshots directory (a frame per terminal node), and videos directory (full screen recording). Stats: trajectories 36, videos 36, frames 968, companies 6, by env: browser-os (11), macos-web-next (14), windows-web-next (11). Provenance: Generated with SynthUX, observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟企业环境中的计算机使用轨迹。每条记录对应一名员工在虚拟公司中的设备会话，通过将自然语言目标分解为节点树结构，终端节点驱动真实的桌面模拟应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯工具及办公套件等），并利用低层级鼠标与键盘输入执行操作。系统将完整轨迹录制成屏幕视频与逐节点图像帧，确保数据捕获过程严格遵循因果链条，仅依赖输入事件驱动状态变化。

使用方法

数据集以标准JSON Lines格式存储，每条记录包含轨迹标识符、主体信息、操作系统环境、自然语言目标、完整的节点树结构及低层级输入事件序列。研究方可通过解析`data.jsonl`文件提取结构化数据，结合`screenshots`目录下的逐节点截图与`videos`目录中的屏幕录像，复现完整的交互过程。该数据适用于训练视觉语言模型、开发自主图形界面操作代理，以及评估多应用场景下的任务执行能力。

背景与挑战

背景概述

SynthUX Economy R2 W022数据集的诞生源于对图形用户界面（GUI）智能体在复杂企业计算环境中高效运作的迫切需求。该数据集由SynthUX团队于2024年创建，聚焦于多应用、多操作系统协同场景下的计算机使用轨迹建模。其核心研究问题在于如何通过合成数据生成真实的虚拟员工操作行为，以支持GUI智能体的训练与评估。通过模拟包含终端、编辑器、浏览器、通信工具及办公套件在内的完整企业生态，该数据集为多应用联动、跨平台交互及长尾任务规划提供了首个大规模基准，对推动自主智能体在复杂桌面环境中的研究具有里程碑意义。

当前挑战

该数据集所解决的领域挑战主要体现在两方面。其一，现有GUI智能体研究多局限于单应用或固定工作流，而真实企业场景要求智能体在终端、邮件、表格等异构应用间无缝切换，并理解跨应用依赖关系（如通过Slack获取指令后在VS Code中编码）。SynthUX通过多公司经济模拟生成了36条涵盖6家虚拟企业、3种操作系统的轨迹，填补了多应用联合操作的数据空白。其二，构建过程中面临合成数据真实性与因果一致性的挑战：数据集采用低层输入事件作为唯一变异通道，摒弃高层应用注入，确保了观察轨迹与因果逻辑的严格对齐，但代价是生成的968帧图像和视频需通过密集的鼠标/键盘事件驱动，对仿真引擎的鲁棒性和效率提出了极高要求。

常用场景

经典使用场景

在计算机视觉与智能体研究领域，SynthUX Economy R2 W022数据集为多应用协同的图形用户界面智能体（GUI Agent）研究提供了珍贵的基准资源。该数据集通过模拟真实企业环境中的员工设备会话，记录了涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多款桌面应用的自然交互轨迹。每一条轨迹均包含从高层自然语言目标到低层级鼠标键盘事件的完整解析树，并配有全屏屏幕录像与关键帧截图。这一设计使得研究者能够系统地评估智能体在跨应用、多步骤复杂任务中的规划与执行能力，尤其适用于基于视觉的指令跟随、目标驱动的界面操作序列学习等经典研究范式。

解决学术问题

长期以来，学术界面临着一个核心挑战：如何构建一个既具备生态效度（ecologically valid）又能精确追踪底层交互细节的多应用GUI智能体训练与评估基准。传统数据集往往局限于单一应用或简化界面，难以反映真实办公场景中应用间切换、消息传递与内容共享的复杂动态。SynthUX数据集通过引入多公司、多角色、多操作系统的经济模拟环境，解决了跨应用上下文理解与多步骤行为一致性追踪的难题。其因果观测机制保证了状态变更的透明性与可复现性，为研究智能体在动态环境中的感知、推理与自适应能力提供了可靠的数据基石。这一开创性工作对于推动从受限的界面操作到通用数字助手的演进具有深远的方法论意义。

实际应用

在实际应用层面，SynthUX数据集为构建下一代企业级数字员工与智能自动化工具铺平了道路。金融机构可利用该数据集训练能够跨系统执行客户对账、报告生成及合规检查的智能助理；科技公司可据此开发能自动处理跨平台任务（如从邮件提取标注、在代码库中修改并部署、通过即时通讯通知团队）的办公协作机器人。数据集涵盖多种操作系统环境（macOS、Windows、浏览器OS）的特性，使其能够支持跨平台GUI自动化测试与无障碍辅助技术的研发。此外，合成数据生成管道的透明性与可扩展性，使得企业能够基于内部流程定制专属的智能体训练集，从而在保障数据安全的前提下实现业务流程的深度自动化。

数据集最近研究

最新研究方向

当前前沿研究聚焦于构建基于多应用协同的图形用户界面（GUI）智能体，以模拟真实企业环境中跨平台、多任务的计算机操作行为。该数据集通过合成轨迹生成技术，记录了模拟公司内不同角色的桌面设备会话，涵盖终端、浏览器、邮件、电子表格等多应用原生执行流程，摒弃传统工作台覆盖层，实现了对低层级鼠标键盘操作与屏幕视频的因果对齐。这一方向与近期GUI自动化领域的热点事件——如企业级流程自动化与大语言模型驱动的智能体操作系统的兴起——紧密相关，为训练和评估具备跨应用理解、抗噪声感知能力的计算机使用智能体提供了大规模、细粒度的基准数据。其意义在于推动从单任务指令执行迈向多角色协同的经济模拟场景，助力探索AI Agent在真实办公环境中的决策鲁棒性与泛化能力。