jacob-valdez/synthux-economy-r3-w011

--- license: apache-2.0 task_categories: - other tags: - computer-use - gui-agents - synthetic - multi-application pretty_name: SynthUX Computer-Use (economy sim) --- # SynthUX Computer-Use Dataset — economy sim r3 Grounded visual computer-use trajectories generated by SynthUX. Each record is one worker's device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. ## Contents - `data.jsonl` — one record per rendered trajectory. - `screenshots/<trajectory>/<node_id>.png` — a frame per terminal node, taken at that node's last input event. - `videos/<trajectory>.webm` — the full screen recording. ## Record schema | field | meaning | |---|---| | `trajectory_id` | unique id (`<actor>__<env>`) | | `actor_id`, `company`, `role_id`, `title` | who, in which org | | `env` | simulator: `macos-web-next` / `windows-web-next` / `browser-os` | | `goal` | natural-language goal for the session | | `tree.nodes` | the actor's terminal nodes (`surface`, `action`, `target`, `args`) | | `trajectory.input_events` | dense low-level mouse/keyboard/script events with `t_ms` | | `trajectory.observations` | causal simulator state after each node | | `trajectory.alignment` | links observations + input-event ranges to node ids | | `media.video` | screen recording (webm) | | `media.frames` | per-node PNG frames (node_id, t_ms, blob_ref) | ## Stats (this build) - trajectories: **36** - videos: 36 · frames: 1050 - companies: 6 - by env: browser-os (12), macos-web-next (18), windows-web-next (6) ## Provenance Generated with SynthUX (synthux.multicompany.day.v1). Observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.SynthUX Computer-Use Dataset — economy sim r3: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-R3-W011数据集基于多代理经济模拟框架构建，旨在生成面向图形用户界面（GUI）代理的视觉化计算机使用轨迹。每条记录对应一位虚拟员工在模拟公司内部的一次设备会话：系统将自然语言目标逐步展开为节点树，终端节点通过底层鼠标与键盘操作驱动真实桌面模拟器应用（如终端、笔记、网页浏览器、邮件及办公套件等），并同步录制完整的屏幕视频与逐节点帧图像，形成因果一致的交互轨迹。

使用方法

研究人员可通过加载`data.jsonl`文件访问每条轨迹的结构化记录，包括代理身份、组织信息、目标描述及节点树。屏幕截图存放于`screenshots/<trajectory>/<node_id>.png`路径，完整屏幕录像则保存为`videos/<trajectory>.webm`视频文件。数据集的JSON模式为每个轨迹提供了稠密的输入事件序列（含时间戳）、因果状态快照以及帧与节点之间的对齐关系，便于用于GUI代理的模仿学习、行为建模与多应用任务规划研究。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，旨在模拟多公司经济环境下的计算机使用场景。该数据集通过合成方法生成了一系列基于视觉的计算机操作轨迹，记录了模拟公司中员工的设备操作会话，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等多个应用程序的跨平台交互。核心研究问题聚焦于如何利用大规模合成轨迹推动图形用户界面（GUI）代理的自主操作能力，尤其是在多应用、多操作系统以及多公司经济生态下的复杂任务执行。该数据集的发布填补了真实计算机操作数据稀缺的空白，为 GUI 代理的模拟训练与评估提供了高质量的基准，有望显著提升智能体在真实桌面环境中的适应性与鲁棒性。

当前挑战

该数据集面临的核心挑战包括：首先，领域问题层面，GUI 代理需在动态、多窗口、跨应用的真实桌面环境中完成长序列任务，现有模型常因界面元素多样性、操作路径不确定性和系统异构性而性能受限，数据集提供的合成轨迹虽覆盖多公司经济场景，但仍需验证其对真实硬件与操作系统的泛化能力。其次，构建过程中，合成数据需模拟复杂的经济模拟逻辑（如公司层级、角色分工、跨角色消息传递），这要求精密的脚本编排与状态同步机制；同时，低层输入事件（鼠标/键盘）与高层目标之间的语义对齐（alignment）是构建可靠训练标签的难点，观测数据需严格保持因果性以避免信息泄露，增加了数据生成的工程复杂度。

常用场景

经典使用场景

SynthUX-Economy-R3-W011数据集为计算机使用智能体（Computer-Use Agents）的研究提供了丰富的多公司经济模拟环境，每一条轨迹记录了一位工人在模拟公司中的完整设备会话。该数据集的经典使用场景在于训练和评估GUI智能体在复杂、跨应用的多步骤任务中的表现，如通过终端、浏览器、邮件、协作软件等多种桌面应用程序执行自然语言描述的目标。借助细粒度的屏幕录制、帧级截图以及底层鼠标键盘操作序列，研究者可以深入分析智能体的决策过程、动作执行效率以及跨应用切换的策略，从而推动基于视觉的自主任务执行模型的发展。

解决学术问题

该数据集有效解决了当前计算机使用智能体研究中缺乏大规模、真实感强的多应用协同轨迹数据的难题。传统数据集往往局限于单应用或简化环境，难以模拟企业级用户在日常工作中同时操作多个桌面软件的复杂场景。SynthUX-Economy-R3-W011通过引入多公司经济结构、跨OS消息传递和角色多样性，使得研究者能够探究智能体在异构软件环境下的规划、错误恢复和长期依赖问题，提升了模型对真实世界任务泛化能力的理解。其因果采集机制（仅依赖底层输入变化）确保观测误差可控，为构建鲁棒的智能体评估基准奠定了坚实基础。

实际应用

在实际应用层面，该数据集可直接服务于企业自动化助手、数字员工原型和辅助办公系统的开发。例如，智能体能够学习如何根据自然语言指令自动完成跨应用的报销流程、数据填报或客户跟进——从邮件中提取信息、在电子表格中录入数据，再通过协作平台发送通知。此外，数据集提供的多公司模拟环境有助于测试智能体在权限差异、软件版本变化或网络延迟等真实条件下的适应能力，从而提升商业软件助手的可靠性，降低人为操作失误，提高办公效率。

数据集最近研究

最新研究方向

当前，SynthUX Computer-Use (economy sim) 数据集正引领着计算机使用行为模拟的前沿研究，特别是在多应用协同与多公司经济生态的视觉轨迹生成领域。该数据集的突出贡献在于其“模拟公司”内多角色、跨操作系统的设备会话记录，通过细粒度的鼠标与键盘操作揭示GUI代理在复杂企业环境中的执行逻辑。随着大模型赋能数字代理的浪潮，该数据集为构建能自主完成多步骤、跨应用任务的智能系统提供了宝贵的仿真基准，其生成的屏幕视频与逐节点帧图像，更是推动了从感知到操控的端到端学习范式进步，对评估代理在动态经济模拟中的鲁棒性与对齐性具有里程碑意义。