jacob-valdez/synthux-economy-r5-w015

SynthUX计算机使用数据集—经济模拟r5，由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个模拟公司内工作者的设备会话：目标扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用原生多应用执行（无工作台覆盖）、每演员内容多样性、跨操作系统消息传递和大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。SynthUX Computer Usage Dataset—Economic Simulation r5, a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker within a simulated company: targets are expanded into node trees, and terminal nodes drive real desktop simulator applications (such as terminals, note-taking tools, VS Code, browsers, Slack/Teams, emails, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. The observed trajectories are recorded as screen videos and per-node frames. This dataset supports native multi-application execution (without workspace overlay), content diversity per actor, cross-OS messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集由SynthUX框架生成，专注于模拟多应用环境下的图形用户界面（GUI）代理行为。构建过程基于“公司经济模拟”场景，每个记录对应一名员工在虚拟企业中的设备会话。初始目标被分解为节点树结构，终端节点通过低层级鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理及演示文稿软件等），从而记录完整的操作轨迹。每个经济模拟场景均作为独立的数据集仓库发布，确保场景间的隔离性与可复现性。

特点

数据集的核心特点在于其原生多应用执行机制，无需依赖覆盖层或工作台，实现了跨操作系统（macOS与Windows模拟器）及跨应用的消息传递。每个操作者拥有独立的内容多样性，支持多公司规模的经济模拟。数据以密集的低层级输入事件（含时间戳）与因果模拟器状态组成，提供从节点到输入事件范围的精确对齐。本次发布包含36条轨迹、903帧图像及6家模拟公司，覆盖三种操作系统环境，兼具深度与广度。

使用方法

数据集以标准格式存储，主文件`data.jsonl`包含每条轨迹的记录，遵循预定义字段模式，涵盖轨迹唯一标识、参与者身份与组织归属、目标描述、节点树及稠密输入事件序列。辅助文件分布于`screenshots`与`videos`目录，分别提供每帧图像（基于终端节点最后一次输入事件捕获）及完整屏幕录制（WebM格式）。用户可依据`trajectory.alignment`字段建立观察结果与输入事件范围至节点ID的映射，便于进行轨迹对齐、行为建模及GUI代理性能评估等下游任务。

背景与挑战

背景概述

SynthUX Economy R5 W015数据集于2025年由多机构联合团队构建，聚焦于图形用户界面（GUI）代理在复杂多应用仿真环境中的计算机操作行为建模。该数据集所属的SynthUX项目旨在通过合成轨迹生成技术，模拟企业内部员工在真实桌面环境中的多任务协作过程，核心研究问题涉及如何从低层级鼠标键盘事件中理解并复现跨应用程序（如终端、编辑器、浏览器、即时通讯与办公套件）的复合操作逻辑。作为首个支持多公司经济体系模拟的公开数据集，它提供了超过900个带标注帧的完整会话记录，为GUI代理的因果推理与多步任务规划研究奠定了基准，推动了从静态图像理解向动态交互建模的领域演进。

当前挑战

该数据集面临的核心挑战在于模拟高度动态且无约束的桌面操作场景：首先，企业级多应用并行执行产生的状态空间爆炸，使得模型难以从稀疏的低层输入信号中精准推断用户意图；其次，数据构建过程中需平衡合成轨迹的规模性与生态效度——自动生成的节点树虽能覆盖常见操作路径，却难以复现实际人工操作中的容错行为与非自回归决策模式；此外，跨操作系统（macOS、Windows、浏览器OS）的异构事件格式统一与屏幕视频帧的因果对齐，对低层级事件流到高层目标的逆向映射提出了严苛标注要求，这些制约着模型从演示学习到零样本泛化的能力迁移。

常用场景

经典使用场景

在计算机视觉与自主代理系统的交叉领域，SynthUX Economy模拟数据集为多应用GUI智能体的行为建模提供了高保真的训练与评测基准。该数据集记录了模拟公司中不同员工在多种操作系统环境（macOS、Windows、浏览器）下执行自然语言目标的完整轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等跨应用操作。每个轨迹均包含密集的低级鼠标键盘事件序列、因果观察状态以及全屏屏幕录像，从而支持模型从像素级输入到高层意图的端到端学习。经典使用场景包括GUI代理的规划与执行任务，其中智能体需根据给定目标自主生成一系列原子操作（如点击、输入、拖拽）并调整策略以应对动态界面变化。该数据集的多公司、多角色设定还引入了复杂的社会交互场景，如跨部门协作中的信息检索与共享，为研究多智能体协同提供了独特的实验平台。

实际应用

在实际产业应用中，SynthUX数据集所支撑的GUI代理技术可被部署于自动化办公流程、软件测试与无障碍辅助等场景。例如，在企业环境中，基于该数据集训练的模型能够自动完成员工入职配置（如安装软件、设置权限、发送通知邮件）、生成跨平台报告（从数据库查询数据、整理至电子表格、嵌入演示文稿并分发）以及执行复杂的客户服务操作（如检索订单信息、更新CRM记录、发起退款流程）。此外，该数据集的跨操作系统录制格式（macOS/Windows/Browser）使得模型天然具备跨平台迁移能力，可无缝适配不同的桌面环境。在软件质量保障领域，此类代理能够模拟用户行为进行自动化回归测试，侦测界面变更导致的流程断裂。对于残障人士，通过自然语言驱动的计算机操作可以大幅降低数字鸿沟，使肢体或视力受限的用户能够通过语音指令完成文档编辑、网页浏览等日常任务。这些实际应用场景普遍要求系统具备高鲁棒性，而SynthUX中多样化的经济模拟情境恰恰提供了训练模型应对异常状态（如应用崩溃、网络延迟、权限错误）的宝贵数据。

衍生相关工作

自发布以来，SynthUX Economy数据集已催生了一系列具有影响力的衍生研究工作。在端到端GUI代理领域，研究者基于该数据集的低层级输入事件序列与对齐标注，开发了新型的层次化规划框架，将高层任务分解为可复用的原子操作原语，并在跨应用场景中取得了显著的执行效率提升。在多模态学习方面，该数据集的密集轨迹帧与因果状态对成为预训练视觉-语言模型的重要资源，衍生了若干针对GUI理解的对比学习目标，使模型能够从像素中准确解析按钮、文本框、菜单等交互元素的状态变化。此外，多公司经济的模拟设定激发了关于组织行为建模的研究浪潮，学者们利用跨角色轨迹数据构建了个性化代理策略，探索不同岗位职责下的操作模式差异。在可解释AI社区，该数据集的因果观察设计被用作评估归因算法的基准，推动了一系列关于代理决策可解释性的方法论创新。最后，SynthUX本身的开源生态系统还促成了标准化评测平台的相关工作，其他研究者在其基础上扩展了代码编辑、数据库操作等新的任务领域，形成了活跃的社区贡献循环。