jacob-valdez/synthux-economy-r3-w012

SynthUX计算机使用数据集——经济模拟r3：这是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集，模拟了公司环境中的设备会话。每个记录代表一个工作人员在模拟公司内的会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。数据集支持应用程序原生多应用程序执行（无工作台覆盖）、每参与者内容多样性、跨操作系统消息传递和大型多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集包含JSONL格式的轨迹记录、每终端节点的截图（在节点最后输入事件时捕获）和完整屏幕录制视频。统计信息显示有36条轨迹、1058帧、6家公司，模拟环境包括browser-os（21条）、macos-web-next（7条）和windows-web-next（8条）。SynthUX Computer-Use Dataset — economy sim r3: Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Includes data.jsonl for trajectory records, screenshots per terminal node, and full screen recordings. Stats: 36 trajectories, 1058 frames, 6 companies, with environments: browser-os (21), macos-web-next (7), windows-web-next (8).

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX系统，通过模拟多公司经济体系生成基于视觉的计算机使用轨迹。每条记录对应一名员工在模拟公司内部的设备会话：一个自然语言目标被逐层展开为节点树，终端节点通过底层鼠标/键盘输入驱动真实的桌面模拟器应用（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），整个交互轨迹被记录为屏幕视频及每个节点的帧图像。每条经济仿真结果独立发布为数据集存储库，确保数据粒度清晰且可追溯。

特点

本数据集具备显著的生态多样性：包含6家模拟公司、36条完整轨迹、1058帧图像及对应屏幕录制，覆盖浏览器操作系统（21条）、macOS网页版（7条）及Windows网页版（8条）三类环境。每条记录携带丰富的结构化元信息，如角色身份、公司组织、自然语言目标、底层输入事件序列及因果状态观测。尤为重要的是，数据生成遵循因果原则——仅通过底层输入变更状态，避免了高层应用层面的直接操控，保证了交互行为的自然性与真实性。

使用方法

数据集以JSONL格式存储核心记录，每条轨迹由唯一ID标识，可通过逐行解析加载。视觉数据以独立目录组织：屏幕录像存放于videos文件夹（WebM格式），每个终端节点的对应帧截图则按轨迹分组存放于screenshots目录（PNG格式）。使用者可通过目标字段检索特定会话，结合节点树结构进行行为链路分析，或利用低层级事件序列训练GUI代理模型。由于轨迹包含完整的多应用跨系统操作记录，该数据集还适用于研究多任务协调与组织级用户行为建模。

背景与挑战

背景概述

随着自主智能体（GUI Agent）在复杂数字环境中的应用日益广泛，如何构建具备多应用协同操作能力的系统性评估基准成为研究热点。SynthUX Computer-Use (economy sim) 数据集由研究团队于2024年提出，聚焦于模拟多公司经济体系中的桌面操作系统交互行为。该数据集通过SynthUX框架生成，涵盖36条真实轨迹与1058帧屏幕截图，记录了员工在模拟公司中使用终端、浏览器、邮件等多应用完成目标任务的完整过程。其核心研究问题在于推动计算机使用智能体从单任务指令执行向多应用、多角色、动态经济环境的自适应决策演进，为GUI Agent的视觉感知、规划与执行能力提供了可复现的测试平台。

当前挑战

该数据集所解决的领域挑战在于GUI Agent需应对跨应用、跨操作系统的复杂交互流程，而传统静态数据集难以捕捉突发事件、消息传递与经济生态的连锁效应。构建过程中面临的挑战包括：1) 如何保证模拟环境生成的自然度与多样性，避免训练出的智能体过度拟合特定窗口布局或操作路径；2) 需要精确对齐低层级鼠标/键盘事件与高层节点目标，确保因果链条的完整性；3) 维护多公司经济体系的长期一致性，防止跨会话状态混乱；4) 兼顾不同操作系统（macOS、Windows、浏览器OS）的渲染差异与输入协议适配。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域中，SynthUX Economy R3 W012数据集以其独特的模拟经济生态为根基，为多应用协同操作的计算机使用任务提供了丰富的训练与评估素材。该数据集通过构建包含六家虚拟公司、三十六个完整轨迹的多代理经济模拟环境，使研究者能够探索智能体在跨应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片）场景下完成复杂目标的过程。每个轨迹均配备细粒度的底层鼠标键盘事件、因果模拟器状态以及对应的屏幕录像，从而支持从感知到决策的全链路建模，尤其适用于多步骤、多窗口、多工具协作的GUI智能体学习任务。

解决学术问题

该数据集系统地解决了现有计算机使用基准中缺乏真实世界多应用协同场景的困境，以及模拟环境与桌面级任务脱节的学术难题。通过引入公司组织架构、角色分工和跨应用消息传递机制，它使得研究者能够深入探究智能体在复杂工作流中的规划能力、任务分解能力与资源协调能力。这一设计填补了从单一应用操作向多应用经济生态迁移的关键空白，为理解智能体在真实企业环境中的行为模式提供了可复现的因果观测平台，进而推动GUI智能体从实验室演示走向规范化评估的范式演进。

衍生相关工作

该数据集的发布已催生若干富有影响力的衍生工作，包括多智能体经济模拟框架的扩展、基于因果推断的GUI行为理解方法，以及从低阶事件到高阶意图的对齐模型。研究者围绕其轨迹结构设计了任务规划与错误恢复的基准算法，并在此基础上发展出跨应用上下文压缩技术，显著提升了长序列任务的训练效率。此外，该数据集的因果观测特性也被用于探索智能体决策的可解释性，衍生出一系列关于环境反馈与执行路径匹配的理论成果，进一步夯实了计算机使用智能体领域的实证基础。