jacob-valdez/synthux-economy-r3-w022

SynthUX计算机使用数据集——经济模拟r3是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个员工在模拟公司内部的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。数据集包含应用原生多应用执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。内容包括数据文件、截图和视频，记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐和媒体文件。统计显示本版本有36个轨迹、36个视频、1024帧、6个公司，环境分布为browser-os（15）、macos-web-next（12）和windows-web-next（9）。The SynthUX Computer-Use Dataset — economy sim r3 is a grounded visual computer-use trajectories dataset generated by SynthUX. Each record represents one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (such as Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, etc.) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. It features app-native multi-application execution (without workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data files, screenshots, and videos, with a record schema covering trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media files. Statistics for this build show 36 trajectories, 36 videos, 1024 frames, 6 companies, and environment distribution as browser-os (15), macos-web-next (12), and windows-web-next (9).

搜集汇总

数据集介绍

构建方式

SynthUX Computer-Use 数据集（economy sim r3）由 SynthUX 框架生成，专注于模拟多应用环境下的图形用户界面代理轨迹。每条记录代表模拟公司内一名员工的设备会话：一个自然语言目标被拆解为节点树，终端节点通过底层鼠标与键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格等），并将观察到的完整轨迹记录为屏幕视频及逐节点帧图像。数据集的构建依赖于原生多应用执行（无工作台覆盖）、按角色内容多样性、跨操作系统消息传递及大规模多公司经济模拟，每个经济模拟版本均作为独立数据集仓库发布。

特点

该数据集的核心特色在于其高度拟真的多应用计算机使用轨迹：每一条轨迹均包含来自真实桌面模拟器的低层级输入事件与因果状态观察，并保持严格的因果性（突变通道为低级输入）。数据集中共收录36条轨迹、1024帧图像与36段屏幕录制视频，覆盖6家虚拟公司，并横跨三种操作系统环境（浏览器系统15条、macOS网页版12条、Windows网页版9条）。每条轨迹记录详尽的结构化字段，包括角色身份、组织归属、目标描述、节点树、输入事件时间序列及对齐信息，为多步推理与多应用交互研究提供了坚实的、细粒度的视觉与行为数据支撑。

使用方法

数据集以标准 JSON Lines 格式（data.jsonl）发布，每条记录对应一条渲染完成的轨迹，包含 trajectory_id、actor_id、company、goal、tree.nodes、trajectory.input_events、trajectory.observations 及 trajectory.alignment 等字段。配套媒体资源存放于 screenshots/ 目录（每终端节点 PNG 帧）与 videos/ 目录（全屏录制 WebM 文件）。研究人员可通过解析 JSON 记录，关联低级输入事件与节点 ID，结合逐帧屏幕截图与视频回放，复现并分析智能体在复杂多应用场景中的行为模式，适用于 GUI 代理训练、多步任务规划及人机交互评估等下游任务。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim r3)数据集由SynthUX团队于近期创建，专注于计算机使用轨迹的生成与记录，旨在模拟多应用环境下的GUI代理行为。该数据集通过构建包含6家虚拟公司的经济模拟场景，利用低层次鼠标/键盘输入驱动终端、代码编辑器、浏览器、即时通讯与办公套件等真实桌面模拟器，记录完整的屏幕视频与逐节点帧图像。其核心研究问题在于为多应用、跨操作系统、高内容多样性的计算机使用任务提供可复现的视觉-动作对齐数据，填补了现有数据集中于单一应用或简化环境场景的不足，对GUI代理、自动化工作流及多智能体协同策略的研究具有重要推动作用。

当前挑战

当前领域面临的核心挑战在于计算机使用任务的高度复杂性与资源开销：真实场景需跨越多应用、多操作系统及动态交互协议，而现有数据集的模拟环境往往过度简化，难以反映实际企业工作流的异构性。构建过程中，SynthUX需解决轨迹生成的自洽性与因果对齐问题，确保每个低层输入事件与节点级观察结果严格对应，并摒弃高层应用突变接口以避免模拟偏差。此外，36条轨迹虽覆盖6家虚拟公司，但样本规模仍显有限，对多角色身份与跨主体内容多样性的建模效果尚需更大规模验证。数据生成的实时性、屏幕录制与帧序列的存储成本也是实际部署中的显著瓶颈。

常用场景

经典使用场景

在图形用户界面（GUI）智能体的研究浪潮中，SynthUX Economy模拟数据集（r3-w022）凭借其独特的多企业、跨平台仿真机制，成为评估和训练GUI智能体在复杂办公环境中执行多步骤任务的核心基准。该数据集每个轨迹记录了模拟企业员工在真实桌面模拟器（如终端、浏览器、邮件客户端、办公套件等）上的完整操作过程，包含屏幕录像、逐节点关键帧以及细粒度的鼠标与键盘事件。研究者可借此开展端到端的任务完成率评测、跨应用上下文理解训练，以及基于视觉与事件序列的行为建模，推动GUI智能体从单一应用操作向多应用协作、长周期目标推导等更贴近现实工作流的场景演进。

实际应用

该数据集所模拟的多应用、多角色办公场景，在实际产业落地中具有直接价值。基于数据训练的GUI智能体可以被部署为数字员工助理，自动完成诸如查阅邮件、更新电子表格、在通讯工具中发送通知、使用代码编辑器执行脚本等需要横跨多个桌面应用的例行工作流。例如，在财务或人事管理系统中，智能体可根据新入职员工信息，自动调用邮件系统发送欢迎信、在通讯工具中创建团队群组、在人事系统中更新表格，并验证所有操作结果。该数据集提供的跨操作系统（macOS、Windows、浏览器）仿真能力，还使其能支撑异构环境下的自动化测试与UI回归验证，显著降低企业运维和办公自动化的人力成本。

衍生相关工作

该数据集有望衍生出一系列重要研究和工程工作。在学术层面，研究者可基于其多公司异构数据构建跨领域迁移学习框架，探索GUI智能体在不同企业组织结构和软件栈之间的通用能力；同时，轨迹中的终端节点树与因果对齐信息可催生新的层次化任务分解与规划算法。在工具链层面，该数据集的生成工具SynthUX本身可被扩展为持续生成训练数据的框架，催生诸如‘GUI智能体课程学习’、‘基于反馈的在线数据合成’等迭代式工作。此外，经济仿真设定还可衍生出面向多智能体博弈、资源竞合以及组织行为模拟的专门子集，拓展计算机使用智能体在经济学与社会科学交叉领域的应用边界。