jacob-valdez/synthux-economy-r4-w058

SynthUX计算机使用数据集（经济模拟r4）是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个工人在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大规模多公司经济。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4 is a grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架生成，专注于模拟多应用环境中的图形用户界面代理行为。构建过程从自然语言目标出发，将目标扩展为节点树，并通过终端节点驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格等），以低层次鼠标和键盘输入执行操作。每个工作会话被记录为设备屏幕视频和逐节点帧图像，确保轨迹的细腻捕捉。所有观测数据均为因果性生成，仅通过低级输入突变通道记录，避免高级API干预，保证了数据的真实性和可复现性。数据集按多公司经济模拟组织，每次模拟独立发布为一个仓库，本版本包含6家公司的36条轨迹。

特点

数据集的核心特点在于其应用原生性、内容多样性与跨操作系统互操作性。轨迹执行不依赖工作台覆盖层，直接操作原生应用界面，使得训练出的代理能适应真实桌面环境。每个行为者拥有独立的角色和公司背景，确保内容多样性。模拟覆盖macOS、Windows及浏览器操作系统，并支持跨平台消息传递，增强了数据集的泛化能力。此外，经济模拟场景涵盖多个公司和职能，为研究多代理协作和复杂任务规划提供了坚实基础。数据以JSON Lines格式存储，每记录包含完整的输入事件、观测状态和对齐信息，便于深入分析。

使用方法

数据集适用于训练和评估图形用户界面代理的视觉与交互能力。用户可直接加载data.jsonl文件，遍历每条轨迹的结构化字段（如目标、节点树、输入事件序列），结合screenshots目录中的逐节点截图和videos目录中的屏幕录制进行多模态学习。推荐利用轨迹中的alignment字段将观测状态和事件片段与节点ID关联，构建监督学习或强化学习的训练样本。由于数据源自真实模拟器，研究者可通过调整SynthUX的参数生成定制化数据集。简单使用示例包括解析JSON并提取输入事件序列，或通过帧图像指导代理进行下一步动作预测。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r4) 数据集由 SynthUX 团队在 2024 年创建，聚焦于合成多应用场景中的图形用户界面（GUI）代理研究。核心研究问题在于如何通过模拟真实企业环境，生成高保真的计算机使用轨迹数据，以推动智能代理在跨应用多任务执行中的能力。该数据集模拟了包含六家公司的经济体，每个轨迹记录了工作者在桌面模拟器中的完整操作流程，涵盖终端、编辑器、浏览器、通讯工具等多种应用。通过提供细致的节点树结构和低层输入事件，SynthUX 为 GUI 代理的训练与评估提供了可扩展的基准，对计算机使用自动化领域产生了重要影响。

当前挑战

该数据集所解决的领域挑战在于如何构建能够理解并执行多应用、多步骤任务的 GUI 代理，传统方法因缺乏真实操作序列而受限。SynthUX 通过合成轨迹模拟了跨平台（macOS、Windows、浏览器）和跨公司交互，提升了代理的泛化能力。构建过程中的挑战包括：确保合成轨迹的因果一致性，即观察状态仅由低层输入事件驱动；生成内容多样性，以避免代理过拟合特定模式；以及模拟真实企业中的多角色分工和跨操作系统通信的复杂性。这些需要精细的仿流设计和数据验证机制。

常用场景

经典使用场景

SynthUX Economy R4 W058 数据集专为模拟企业环境中多应用协同的图形用户界面代理（GUI Agent）研究而设计。其经典使用场景在于构建和评估能够跨多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件及办公套件）执行复杂任务指令的智能体系统。研究者可利用该数据集中记录的完整屏幕视频、逐节点帧画面及密集的低级输入事件序列（鼠标、键盘及脚本操作），来训练智能体理解自然语言目标并将其分解为可执行的操作树，从而在模拟的公司经济体系内完成跨应用的工作流，例如从邮件中提取数据并在电子表格中进行分析与汇报。

实际应用

在实际部署层面，该数据集的模拟企业环境直接映射至现代知识工作者的日常办公场景，其衍生的智能体技术可应用于企业级流程自动化、数字助理系统及软件测试领域。例如，基于此数据训练的智能体能够自主完成跨平台的数据迁移、会议纪要整理、多源信息汇总与报告生成等繁琐任务，从而提升员工的工作效率。此外，该数据集中模拟的跨组织消息传递与大公司经济体特性，使得相关智能体系统能够适应复杂的组织架构与权限管理要求，为构建安全、可靠的数字劳动力提供了落地的评估基准。

衍生相关工作

该数据集作为SynthUX合成数据生成框架的产物，催生了多项后续研究工作。其开创性的多公司经济模拟架构为GUI智能体领域引入了全新的评估范式，研究者可借助该数据集的因果轨迹结构（对齐了低级输入事件与高级节点动作）来探索更精确的智能体训练方法，例如基于逆动态模型进行行为克隆或通过因果推理提升策略的可解释性。不同桌面环境（browser-os、macos-web-next、windows-web-next）的轨迹变体也为研究系统无关智能体迁移提供了对照实验数据，从而推动开发能够跨主流操作系统无缝工作的通用计算机使用代理（Computer-Use Agent）模型。