jacob-valdez/synthux-economy-r4-w051

SynthUX计算机使用数据集—经济模拟r4：这是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表模拟公司中一个工人的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集支持应用原生的多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递，以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer-Use Dataset — economy sim r4: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

SynthUX-Economy-r4-w051 数据集基于 SynthUX 框架构建，通过模拟多公司经济环境生成 grounded visual computer-use 轨迹。每个记录对应一个员工在模拟公司中的设备会话：自然语言目标被扩展为节点树，终端节点驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），并通过低层级鼠标/键盘输入执行。观测轨迹以屏幕视频和逐节点帧的形式被记录。数据集的构建过程中，每个经济模拟发布为独立的仓库，确保多公司、多角色内容的多样性和跨操作系统的通信能力。

特点

该数据集的核心特点在于其多应用原生执行能力，无需工作台覆盖层，并支持跨操作系统消息传递。每条轨迹包含丰富的元数据，如 actor_id、公司、角色 ID 和职位，以及详细的树状节点结构（surface、action、target、args）。轨迹数据包括密集的低层级输入事件（鼠标/键盘/脚本）及其时间戳，因果模拟器状态，以及观测与节点 ID 的对齐信息。当前版本包含 36 条轨迹、898 帧图像和 6 个公司的数据，覆盖三种模拟环境（browser-os、macos-web-next、windows-web-next）。

使用方法

数据集以 JSONL 格式提供，每条记录对应一个渲染轨迹，包含 trajectory_id、goal、树节点、输入事件、观测状态和对齐信息。媒体文件包括每终端节点的 PNG 帧（存储于 screenshots/<trajectory>/<node_id>.png）和全屏屏幕录制视频（videos/<trajectory>.webm）。用户可通过 data.jsonl 解析数据和元数据，结合帧图像和视频进行计算机使用行为的分析、GUI 代理的训练或多应用工作流的评估。数据遵循 Apache-2.0 许可证，适合研究用途。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集由 SynthUX 团队于近期构建，专注于模拟多应用、多用户的图形用户界面（GUI）代理行为。该数据集以经济模拟为核心，记录了六家公司、36条工作会话轨迹，涵盖跨操作系统的桌面应用程序交互，包括终端、浏览器、协作工具等。其核心研究问题在于如何通过合成数据生成真实、复杂且具有多样性的 GUI 交互轨迹，以训练和评估计算机使用代理。该数据集通过无工作台叠加的原生多应用执行、跨操作系统消息传递及大规模多公司经济模拟，为 GUI 代理研究提供了高保真基准，推动了人机交互与强化学习领域的交叉发展。

当前挑战

该数据集面临的核心挑战之一是解决 GUI 代理在复杂、多窗口、跨应用场景下的决策与执行问题，传统数据集多局限于单一应用或受限环境，难以覆盖真实工作流中的任务连续性、应用间依赖及意外事件处理。构建过程中，团队需克服合成数据生成的保真度瓶颈，例如模拟低级别鼠标/键盘输入与屏幕变化之间的因果一致性，避免高层应用状态注入带来的偏差。此外，跨平台操作系统（macOS、Windows、浏览器）的异构性增加了轨迹对齐与标准化难度，而多公司经济模拟中的角色多样性、目标动态性进一步要求数据集在规模与真实性间取得平衡，确保每个工作会话既非琐碎亦非过度理想化。

常用场景

经典使用场景

在图形用户界面（GUI）智能体研究领域，SynthUX-Economy-R4-W051数据集为多应用协同操作与仿真环境下的自主任务执行提供了高质量的基准平台。该数据集通过模拟真实企业场景中多角色、跨应用的计算机操作轨迹，将自然语言目标转化为细粒度的鼠标键盘事件序列及屏幕录制帧，尤其适合用于训练和评估基于视觉与交互的智能体模型。其经典使用方式包括但不限于：基于多模态输入的端到端任务规划、跨应用状态追踪与执行反馈对齐，以及在复杂经济仿真环境中的长期目标分解与执行能力评估。

实际应用

在实际部署中，该数据集能够赋能企业级办公自动化的多个核心环节。例如，智能财务助理可基于轨迹数据学习如何跨终端、邮件与电子表格执行月度结算流程；客户服务智能体能够模拟在多窗口通信工具间切换，完成工单分配与内部协调；软件开发助手则可通过观察编辑器的记录、浏览器调试台与Slack讨论之间的操作模式，自动生成或补全代码注释与文档。此外，由于数据集中包含了完整的屏幕录像与事件级对齐信息，它还可用于企业培训系统的场景回放、AI辅助的用户流程审计以及低代码平台中的交互流程图自动生成等落地场景。

衍生相关工作

围绕着SynthUX-Economy-R4-W051数据集，学术界已涌现出若干方向的相关工作。在方法层面，研究者基于该数据集的因果对齐结构，提出了树形任务分解与节点级奖励塑造机制，显著提升了长序列规划智能体的收敛效率。在模型层面，有多项工作尝试利用该数据集的跨环境样本（macOS、Windows、浏览器OS）进行领域自适应预训练，以实现一次学习、多平台迁移的通用GUI智能体。此外，该数据集还催生了面向“多公司经济模拟”的基准评估框架，用于测度智能体在涉及组织博弈、信息不对称与资源竞争场景下的协作与决策能力，成为后续研究企业级Agent仿真平台的重要参考基准。