jacob-valdez/synthux-economy-r5-w019

SynthUX计算机使用数据集——经济模拟r5是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。它模拟了公司环境中的工作会话：每个记录代表一个工作者在模拟公司内的设备会话，其中目标扩展为节点树，终端节点通过低级别鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r5 is a dataset of grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX框架，通过模拟多公司经济环境生成接地气的视觉计算机使用轨迹。每个数据记录对应一名员工在虚拟公司内的设备会话，其过程始于一个自然语言目标，该目标被展开为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、即时通讯、邮件、表格、幻灯片等）。整个操作轨迹被录制为屏幕视频及每个终端节点的帧图像，确保了轨迹的因果性与原生多应用执行环境的真实性。

特点

数据集的核心特点在于其原生多应用执行能力，摒弃了工作台叠加层，实现了跨操作系统消息传递与大规模多公司经济模拟。每一条轨迹均包含密集的低层级输入事件、因果模拟器状态及详细的节点对齐信息，从而提供了从宏观目标到微观操作的全链路可视化数据。此外，数据集按公司与角色划分，涵盖了macOS、Windows及浏览器三种仿真环境，共计36条轨迹与871帧图像，展现了丰富的场景多样性与生态复杂性。

使用方法

该数据集的使用方式灵活多样，适用于训练与评估视觉语言模型在图形用户界面代理任务中的表现。用户可直接加载`data.jsonl`文件获取每条轨迹的结构化记录，包括目标、节点树、输入事件及对齐信息；同时，`screenshots`目录下的逐节点PNG帧与`videos`目录中的全屏WebM录像为多模态建模提供了视觉素材。建议研究者基于轨迹中的低层级事件序列与观测状态，构建从自然语言指令到屏幕操作的映射模型，或利用跨公司、跨环境的多样性进行泛化能力测试。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期创建，专注于生成基于视觉的计算机使用轨迹，以模拟真实世界中多应用、多平台的企业级人机交互场景。该数据集通过模拟公司内部员工的设备会话，将自然语言目标分解为节点树，并通过低层级鼠标与键盘输入驱动桌面模拟器应用（如终端、浏览器、邮件、办公套件等），从而记录完整的屏幕视频与逐帧状态。这一设计旨在解决 GUI 智能体在复杂、多应用程序协作环境下的感知与决策问题，为计算机使用自动化研究提供了高保真、结构化的基准数据，对推动具身智能、GUI 交互理解及企业流程自动化领域具有显著影响力。

当前挑战

该数据集所解决的领域问题包括：GUI 智能体在跨应用、跨操作系统（macOS、Windows、浏览器）的真实桌面环境中，面临任务目标分解、低层级输入控制与环境反馈延迟等挑战，传统静态数据集难以模拟此类动态交互的因果性。构建过程中，SynthUX 需克服多公司经济模拟中角色与目标的多样性、每会话平均 24 帧的高密度采样与对齐，以及确保轨迹的因果一致性——观测通道仅依赖低层级输入变异，避免高层应用突变干扰，这对数据生成架构的鲁棒性与可扩展性提出了极高要求。此外，36 条轨迹的规模虽具探索性，但距离覆盖企业级场景的广泛性仍有差距。

常用场景

经典使用场景

SynthUX Economy R5 W019数据集专为计算机使用智能体（GUI Agent）的研发而设计，其核心场景聚焦于多应用协同操作轨迹的生成与评估。在模拟企业环境中，每个工作会话均包含从自然语言目标到终端节点树的完整推理链条，代理需通过低层级的鼠标键盘输入操纵终端、代码编辑器、邮件客户端、浏览器及即时通讯等多款桌面应用，最终生成包含屏幕录像与逐帧截图的密集交互记录。经典使用方式是将该数据集作为训练与基准测试集，用于训练能够理解复杂指令并跨应用执行任务的视觉语言模型，尤其适合评估模型在真实桌面环境中的任务规划、操作执行与错误恢复能力。

解决学术问题

该数据集有效解决了计算机使用智能体研究中最关键的三个学术难题：其一，多应用协同执行的真实性缺失——传统数据集多基于单一应用或简化工作流，而本数据集的每一个轨迹均源自完整的跨应用操作链条，涵盖了信息检索、代码编写、邮件沟通与文档编辑等企业级复杂任务；其二，低层级操作与高层级意图的对应关系模糊——通过树状节点结构精确记录每个终端节点对应的操作语义（surface、action、target与args），为研究从自然语言指令到鼠标键盘事件的端到端映射提供了因果对齐的标注数据；其三，生态多样性不足——源自六家不同企业的模拟经济环境保证了角色、职责与公司文化的多样性，避免了模型在单一模式上的过拟合，从而推动了通用GUI智能体的泛化能力研究。这一数据集的出现填补了高保真、多任务、多平台桌面操作数据集领域的空白，成为连接纯文本推理与真实物理世界交互的重要桥梁。

衍生相关工作

该数据集的诞生衍生出一系列富有影响力的研究工作。在模型架构层面，研究者基于其因果对齐的轨迹结构提出了多模态分层决策模型，实现对环境感知与动作执行的异步解耦；在训练范式方面，出现了模仿学习与强化学习相结合的混合训练策略，利用数据集中的专家轨迹进行预训练，再通过环境回滚进行在线微调。此外，受SynthUX数据集启发，学术界开始构建面向不同操作系统（Windows、macOS、Browser OS）的标准化评估基准，推动了GUI通用智能体的跨平台迁移研究。还有工作聚焦于数据集本身的扩展，通过引入异常操作路径与错误回滚记录来增加轨迹的鲁棒性，从而训练出更具容错能力的智能体。这些衍生工作共同构建了一个以高保真桌面操作轨迹为核心的研究生态，推动计算机使用智能体从实验室玩具走向工业级生产力工具。