jacob-valdez/synthux-economy-r5-w081

SynthUX计算机使用数据集—经济模拟r5是一个合成数据集，包含基于视觉的计算机使用轨迹，这些轨迹在模拟公司环境中生成。每个记录代表一个工作人员在设备会话中的活动：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。The SynthUX Computer-Use Dataset — economy sim r5 is a synthetic dataset containing grounded visual computer-use trajectories generated within a simulated company environment. Each record represents one workers device session: a goal expands into a node tree, terminal nodes drive real desktop-simulator applications (e.g., Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX系统，通过模拟企业内部多应用联合办公场景，自动生成基于图形用户界面的计算机操作轨迹。每条记录对应一名员工在模拟公司中的一次设备会话：系统将自然语言目标逐步分解为节点树，终端节点驱动真实的桌面模拟应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格、幻灯片等），通过低层级的鼠标与键盘输入执行操作。整个执行过程以屏幕视频和逐节点截图的形式被完整记录，形成高保真的视觉轨迹数据。采用多公司经济模拟机制，每次仿真独立发布为一个数据集仓库，确保数据隔离与场景多样性。

特点

本数据集具备显著的多应用原生执行特性，不依赖工作台覆盖层，各应用之间通过跨操作系统消息实现协同交互。每位参与者拥有独立的内容生成上下文，确保了行为与内容的多样性。数据涵盖6家模拟公司、36条完整轨迹，共计853帧节点截图与同等数量的屏幕录像，覆盖macOS、Windows及浏览器三种操作系统环境。每条轨迹包含密集的低层级输入事件序列、因果模拟状态快照以及节点对齐信息，为细粒度的GUI代理行为分析提供了丰富的结构化标注。

使用方法

数据集以JSON Lines格式提供主文件data.jsonl，每条记录包含轨迹标识符、参与者身份、组织归属、目标描述、节点树结构及完整的输入事件序列。屏幕截图按轨迹与节点ID组织于screenshots目录，每帧对应终端节点最后一次输入事件时的界面状态。全屏录像以WebM格式存放于videos目录。用户可通过轨迹ID索引视频与截图，利用对齐字段将观测状态、输入事件范围与节点ID关联，适用于训练视觉语言模型、评估GUI代理的规划与执行能力，或进行跨应用复合任务的因果关系研究。

背景与挑战

背景概述

SynthUX Computer-Use 数据集由 SynthUX 团队于近期创建，专注于模拟多应用、多平台的企业级图形用户界面（GUI）操作轨迹。该数据集旨在解决计算机使用行为数据匮乏的问题，通过合成方法生成 grounded 的视觉轨迹，涵盖终端、代码编辑器、浏览器、即时通讯工具及办公套件等典型桌面应用。研究机构通过构建包含多家虚拟公司的经济模拟环境，以自然语言目标驱动智能化节点树，最终生成低层次鼠标/键盘事件与屏幕录像。这一创新填补了真实企业场景下多应用协同操作的高质量数据集空白，对 GUI 代理、人机交互及自动化任务规划等领域具有重要推动作用。

当前挑战

SynthUX 数据集面临的核心挑战在于领域问题的复杂性与构建过程的稀缺性。领域层面，GUI 代理研究长期受限于缺乏多应用、跨平台的同步操作数据，尤其是模拟企业内部经济流程中涉及的角色分工、内容多样性与操作系统间通信等现实因素，现有数据集难以覆盖。构建过程中，团队需解决合成轨迹的因果一致性，确保每一步低层次输入事件能准确映射到节点树和高层目标，避免模拟器状态的谬误传递。此外，跨操作系统（macOS、Windows、浏览器）的渲染差异、虚拟机资源消耗及多公司经济模型的可扩展性，均对数据生成管线的鲁棒性提出了严苛要求。

常用场景

经典使用场景

SynthUX Computer-Use经济模拟数据集为多应用GUI智能体研究提供了珍贵的训练与评估资源。研究者可利用该数据集中包含的36条完整轨迹，每条轨迹均记录了模拟公司内一位员工在终端、VS Code、浏览器、邮件及即时通讯等多应用环境下的真实操作流程。这些轨迹通过底层鼠标与键盘输入事件树加以呈现，并辅以屏幕录像与逐节点截图，使得该数据集成为训练能够跨应用执行复杂办公任务的视觉GUI智能体的经典基准。其多公司、跨操作系统（macOS、Windows、浏览器）的设计，尤其适合研究智能体在异构界面与多样化企业信息结构下的泛化能力。

解决学术问题

该数据集着力回应当前GUI智能体研究面临的三大核心挑战：多应用协同操作的可复现性、底层因果状态的可观测性，以及跨组织内容多样性带来的环境异质性。此前的大多数数据集局限于单一应用或固定操作序列，难以支撑对智能体在真实多步骤办公流程中的规划与纠错能力进行科学评估。SynthUX通过引入因果模拟器状态追踪与节点对齐机制，使研究者能够将低层输入事件与高层语义目标建立精确映射，从而系统性地分析智能体在子目标分解、错误恢复及跨应用上下文保持方面的性能，推动了从单步指令执行向复杂多步工作流理解的范式转变。

衍生相关工作

该数据集在发布后催生了一系列重要的衍生产出方向。一方面，研究者开始借鉴其节点树与因果状态记录架构，构建更具规模的多公司多角色仿真环境，以探索智能体在组织层级变化和通讯协议差异下的迁移学习策略。另一方面，基于轨迹中的帧级别对齐信息，出现了针对GUI智能体中间表示的可解释性分析方法，旨在揭示模型在何时、因何视觉线索而触发特定应用切换或输入操作。此外，该数据集独特的'经济模拟'设定也启发了若干工作，将公司内部资源分配与任务优先级建模引入智能体奖励函数设计，使训练出的智能体不仅具备操作准确性，还能模拟出符合业务逻辑的决策优先级。