jacob-valdez/synthux-economy-r5-w066

SynthUX计算机使用数据集——经济模拟r5，是一个基于SynthUX生成的接地视觉计算机使用轨迹数据集。每个记录代表一个模拟公司内员工的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含数据记录、截图和视频，记录模式包括轨迹ID、参与者、环境、目标、节点树、输入事件、观察结果、对齐信息和媒体文件。统计显示本版本包含36个轨迹、1049帧、6家公司，环境分布为browser-os（10）、macos-web-next（12）和windows-web-next（14）。数据来源为SynthUX生成，观察结果是因果性的（突变通道为低级别输入），捕获过程中未使用高级别应用程序突变。SynthUX Computer-Use Dataset — economy sim r5. Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. The dataset includes data records, screenshots, and videos, with a schema covering trajectory ID, actor, environment, goal, node tree, input events, observations, alignment, and media. Stats for this build: 36 trajectories, 1049 frames, 6 companies, by env: browser-os (10), macos-web-next (12), windows-web-next (14). Provenance: Generated with SynthUX, observations are causal (mutation channel = low_level_input); no high-level app mutation is used during capture.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，模拟了一个包含多家公司的经济生态体系，每条记录对应一位工人在模拟公司内的设备会话。系统将自然语言目标分解为节点树，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack、邮件、表格、幻灯片等），完整记录用户操作轨迹。每个会话的屏幕视频与每节点帧被同步捕获，观测过程遵循因果链，仅通过低层级输入触发状态变更，确保数据的环境真实性与交互纯粹性。

使用方法

数据集以data.jsonl文件存储每条轨迹的结构化记录，包含轨迹ID、参与者信息、目标描述、节点树、输入事件序列及观测状态等字段。screenshots目录下以轨迹ID和节点ID组织逐节点截图，videos目录提供对应屏幕录像。用户可通过加载JSONL文件解析轨迹结构与元数据，结合图像与视频资源进行模型训练或评估，适用于构建图形用户界面代理的视觉定位与操作预测任务。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体技术的不断发展，如何在大规模、多应用、多用户的企业级场景下评估模型的交互能力成为关键瓶颈。SynthUX Computer-Use（economy sim r5）数据集应运而生，由多公司经济模拟框架SynthUX于近期生成，通过模拟企业内部多名员工的真实桌面操作流程，构建了基于视觉的计算机操作轨迹数据集。每一条数据记录均包含完整屏幕录制视频与节点级截图，涵盖跨操作系统、多种办公应用（终端、笔记、编辑器、浏览器、即时通讯、邮件、电子表格、幻灯片等）的连续交互。该数据集以多公司经济生态为背景，显著提升了GUI智能体训练与评估的生态真实度，为面向复杂企业级环境的自动化操作研究提供了重要基准。

当前挑战

该数据集的核心挑战在于解决多应用、跨平台、多角色企业环境下的GUI智能体评估难题。具体而言，领域问题层面：现有数据集多聚焦于单一任务或应用内的简单操作，无法反映真实企业中员工需同时在多个应用间切换、执行长序列任务的复杂场景，且缺乏对高保真视觉输入与低层输入事件对齐的精准标注。构建过程层面：数据采集需在模拟经济体中同时驱动不同操作系统的多路桌面会话，实时生成无重叠的大规模截图与视频流，并确保所有观测完全基于因果的低层输入事件，避免高层应用直接修改状态，这对系统的工程鲁棒性与数据一致性提出了极高要求。

常用场景

经典使用场景

在计算社会科学与人工智能交叉领域，SynthUX Economy R5-W066数据集为研究多智能体协作环境下的图形用户界面（GUI）智能体行为提供了独特的仿真沙盒。该数据集的核心价值在于其模拟了真实企业经济生态——涵盖36条跨角色、跨公司的完整操作轨迹，涉及6家虚拟企业中的职员通过终端、浏览器、邮件等桌面级应用程序完成复杂商业目标的完整过程。研究者可利用该数据探索GUI智能体在受到多应用协同、跨平台消息传递及资源约束等现实因素影响时，如何将高层自然语言目标分解为可执行的底层交互序列。其多模态记录形式（屏幕视频、逐节点帧图及标准化事件日志）使得研究人员能够精确剖析智能体动作的因果链条，从而建立更鲁棒的端到端计算机操作模型。

解决学术问题

该数据集有效突破了传统GUI智能体研究中长期存在的两大瓶颈：真实任务保真度不足与评估缺乏客观基准。通过引入多公司经济模拟机制，SynthUX首次提供了包含组织层级、角色分工及商业约束的复杂操作环境，解决了以往研究局限于单应用、跨应用合成场景下智能体泛化能力低下的问题。学术上，它使得研究者能够严谨地测试和验证跨应用任务规划、阶段性目标回溯、异常操作恢复等理论模型的意义与影响。数据集中的因果对齐机制尤为关键，它强制将高层决策与底层像素级事件绑定，为量化智能体的鲁棒性、可解释性和目标达成率提供了可靠的黄金标准，从而推动了从行为克隆到反思式智能体架构验证等一系列研究范式的进步。

实际应用

在实际产业应用中，该数据集为构建下一代企业级流程自动化系统提供了关键的数据根基。具体而言，它可以训练能够自主完成财务报销、跨部门审批、客户信息录入和报告生成等标准化桌面操作的软件机器人，显著降低企业在人力密集型流程上的运营成本与失误率。数据集涵盖macOS与Windows双平台环境，确保了训练出的智能体具备跨操作系统迁移能力，满足企业异构IT环境下统一自动化需求。更前沿的应用体现在智能虚拟雇员助手领域：利用该数据集训练的模型能够在罕见或极端任务场景（如系统故障后数据恢复或紧急跨应用数据同步）中展现出稳健的适应能力，从而实现从简单规则匹配到复杂任务自主规划的质变，推动企业从数字化向智能化办公的跨越。

数据集最近研究

最新研究方向

随着多模态大语言模型与图形用户界面（GUI）智能体的深度融合，计算机使用场景的自动化研究正从单一应用操作迈向跨应用、多主体的复杂经济系统模拟。SynthUX Economy系列数据集应运而生，其r5-w066版本聚焦于模拟企业内部多员工同时使用终端、笔记、代码编辑器、浏览器以及办公套件等桌面应用的协作轨迹，如Slack消息触发VS Code编辑后自动更新文档版本，或邮件中的经济指标波动同步反映于电子表格与统计图表的联动更新。该数据集以低层级鼠标键盘事件、全屏录像及因果对齐的节点树为记录单元，覆盖macOS、Windows与浏览器原生操作系统环境，为研究基于视觉感知的GUI智能体在跨应用程序依赖、角色权限与任务交付周期中的多步决策与鲁棒性提供了高质量训练与评估基准。其在工业自动化与数字员工领域的应用潜力，正推动无工作台覆盖干扰的自然桌面交互研究迈向更真实的规模化经济仿真时代。