jacob-valdez/synthux-economy-r3-w024

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个模拟公司内工作人员的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每节点帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。The SynthUX Computer Usage Dataset is a vision-based computer interaction trajectory dataset generated by SynthUX. Each record corresponds to a device session simulating the work of employees within a simulated company: tasks are expanded into node trees, where terminal nodes drive real desktop emulator applications (e.g., Terminal, Notes, VS Code, browsers, Slack/Teams, Mail, Sheets, Slides, etc.) via low-level mouse and keyboard inputs. Observed interaction trajectories are logged as screen videos and per-node frames. This dataset supports native multi-application execution (without workspace overlay), content diversity across participants, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架构建，通过模拟多公司经济环境生成真实的计算机使用轨迹。每个轨迹对应一名员工在模拟公司内的设备会话，其目标被展开为节点树，终端节点驱动桌面模拟器应用（如终端、笔记、浏览器等）的低级鼠标/键盘输入，从而记录下完整的屏幕视频和逐节点帧图像。数据集的生成过程强调因果性，仅通过低级输入通道进行状态变异，避免了高级应用层干预。

特点

数据集具有显著的跨应用、跨操作系统和跨角色内容多样性特征。它支持macOS、Windows及纯浏览器环境，覆盖36条轨迹、6个公司场景，包含1113帧图像。每条记录不仅包含完整的屏幕录像和逐节点帧，还提供了密集的低级输入事件时间序列及因果模拟器状态快照，为理解多应用协作环境下的GUI代理行为提供了细粒度的观察数据。

使用方法

数据集中每条轨迹以JSON格式存储，可通过加载`data.jsonl`文件获取`goal`、`trajectory.input_events`等核心字段，并结合`screenshots/`目录下的逐节点PNG图像和`videos/`目录的WebM视频进行可视化分析。用户可依据`trajectory_id`索引特定会话，利用`alignment`字段关联观察与节点ID，从而按需提取或回放目标子轨迹，适用于GUI代理的训练评估与行为建模。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim)数据集由SynthUX于近期创建，聚焦于图形用户界面（GUI）智能体在复杂多应用环境中的视觉计算机操作轨迹研究。该数据集通过模拟企业内部多角色、多应用协同场景，记录用户从自然语言目标到低层级鼠标键盘操作的完整执行路径，涵盖终端、笔记、代码编辑器、浏览器、即时通讯及办公套件等多个应用。其核心研究问题在于如何构建可泛化的GUI智能体，使其能跨操作系统（macOS、Windows、浏览器）执行多应用联合任务，并在模拟的企业经济生态中保持内容多样性与交互真实性。该数据集为计算机使用智能体领域提供了高保真、跨平台的基准资源，推动了从单任务到多应用、从模拟到真实场景的研究范式演进。

当前挑战

该数据集面临的领域挑战在于，GUI智能体需应对多应用协同工作的复杂性与环境异质性，包括跨操作系统消息传递、应用间状态依赖及动态交互流程的鲁棒建模，这些远超单应用任务的处理难度。在构建过程中，挑战主要源自合成数据的逼真度与生态仿真：需要生成包含个性化角色、组织架构及经济活动的模拟公司，同时确保低层级事件（鼠标/键盘输入）与高层级目标（自然语言指令）的一致性。此外，如何平衡采样多样性（覆盖36条轨迹、6家公司的有限规模）与数据质量（避免模拟器状态突变带来的因果混淆）亦是关键难题，特别是保持视频帧与事件序列的时间对齐及语义完整性。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域中，SynthUX经济模拟数据集为构建和评估多应用协同操作的计算机使用智能体提供了理想基准。该数据集记录了模拟公司内员工设备会话的完整轨迹，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多种应用的跨应用操作。每个轨迹从自然语言目标出发，扩展为节点树结构，通过底层鼠标与键盘输入驱动真实桌面模拟器应用，并保留完整的屏幕视频与逐节点帧图像。研究者可利用该数据集训练能够理解复杂工作流、在多个应用程序间无缝切换并执行序列化任务的智能体，尤其适用于评估模型在多步骤、多应用场景下的规划能力与执行准确性。

实际应用

在实际应用层面，SynthUX经济模拟数据集可直接赋能企业级自动化助手与数字员工平台。例如，智能客服系统可基于该数据集训练能够同时操作CRM系统、邮件客户端与知识库的代理，在无需人工干预的情况下完成客户信息查询、工单创建与回复撰写等跨系统流程。在金融与行政管理领域，该数据集可用于开发自动化报表生成工具，使智能体能够从浏览器获取数据、在电子表格中完成计算分析、并在演示文稿中生成可视化结果。尤其值得注意的是，其多平台支持（macOS、Windows、浏览器OS）使得训练后的模型具备跨操作系统迁移能力，显著降低了企业在异构IT环境中的部署成本。

衍生相关工作

SynthUX经济模拟数据集的出现将催生一系列衍生研究工作。在数据增强方面，后续工作可能探索利用其节点树结构生成难度可控的对抗性样本，例如引入意外弹窗或网络延迟，以检验智能体的鲁棒性。在模型架构层面，研究者可借鉴其多应用节点对齐设计，开发能够动态维护跨应用上下文记忆的分层状态跟踪网络。此外，该数据集为多智能体协作研究提供了天然试验场——不同角色的员工轨迹可作为个体智能体的行为基础，进而研究群体智能体在共享经济体中的任务分配与通信协议学习。最后，其可复现的经济演化逻辑可能激发将强化学习中的经济模拟框架引入GUI智能体训练的新范式。