jacob-valdez/synthux-economy-r2-w002

SynthUX计算机使用数据集是一个基于视觉的计算机使用轨迹数据集，由SynthUX生成。每个记录代表一个工人在模拟公司内的设备会话：目标被扩展为节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括Terminal、Notes、VS Code、Browser、Slack/Teams、Mail、Sheets、Slides等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持原生多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟作为独立的数据集仓库发布。数据集内容包括JSONL格式的数据文件、每个轨迹的截图帧和完整屏幕录制视频。记录模式包括轨迹ID、参与者信息、环境、目标、节点树、输入事件、观察结果、对齐信息以及媒体引用。此构建版本包含36个轨迹、793个帧和6个公司，覆盖不同环境如browser-os、macos-web-next和windows-web-next。数据集使用SynthUX生成，观察基于因果模拟器状态，仅使用低级别输入进行捕获。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo. Contents include data files, screenshot frames per trajectory, and full screen recordings. Record schema defines fields such as trajectory ID, actor information, environment, goal, node tree, input events, observations, alignment, and media references. This build includes 36 trajectories, 793 frames, and 6 companies across environments like browser-os, macos-web-next, and windows-web-next. Generated with SynthUX, observations are causal with low-level input capture only.

搜集汇总

数据集介绍

构建方式

该数据集基于SynthUX框架生成，旨在模拟企业环境中员工通过图形用户界面完成任务的完整操作轨迹。每条记录对应一名虚拟员工在模拟公司内部的设备会话，从自然语言目标出发，扩展为层次化的节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用（包括终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格处理、演示文稿等）。操作轨迹以屏幕视频与逐节点关键帧的形式被完整记录，构建过程采用因果观测机制，确保仅通过底层输入通道进行状态变更，排除了高层应用变异干扰。

特点

该数据集最显著的特征在于其原生多应用执行环境，无需工作台叠加层即可实现跨操作系统消息传递与多公司经济体模拟。每条轨迹包含密集的低级输入事件、因果模拟器状态快照以及观测与节点间的对齐信息，确保了操作序列的完整性与可追溯性。本次发布版本包含36条轨迹、793张逐节点帧与6家模拟公司，覆盖macOS、Windows与纯浏览器三种操作系统环境，展现了内容多样性与跨平台兼容能力。

使用方法

数据集以data.jsonl文件组织，每条记录对应一条渲染完成的轨迹，包含轨迹标识符、参与者信息、模拟环境类型、自然语言目标、终端节点树、操作事件序列、因果观测状态及媒体文件引用。具体使用时，可通过trajectory_id字段定位特定轨迹，结合节点帧图像与全屏视频进行可视化分析。媒体资源存放于screenshots与videos子目录，分别提供逐节点PNG截图与WebM格式全屏录制，便于研究者开展GUI代理行为的定性与定量研究。

背景与挑战

背景概述

SynthUX Economy R2 W002数据集由SynthUX研究团队于2024年创建，旨在推动图形用户界面（GUI）代理在复杂多应用环境中的发展。该数据集聚焦于模拟公司内部工作者的桌面操作轨迹，涵盖Slack、VS Code、浏览器等多应用协同场景，通过低层级鼠标键盘事件记录完整的计算机使用过程。其核心研究问题在于如何构建能够理解并复现人类在多应用、跨平台工作流中视觉与操作模式的智能代理。作为首个大规模合成GUI代理轨迹数据集之一，它填补了现有数据集在跨组织经济模拟和多演员内容多样性方面的空白，为人工智能在自动化办公、人机交互等领域的应用提供了关键基准。

当前挑战

该数据集面临的核心挑战在于多应用协同环境下的视觉与操作复杂性：1) 领域问题层面，现有GUI代理难以处理跨应用依赖（如从Slack获取指令后在VS Code执行代码）和动态操作系统状态（如窗口切换、通知干扰），而数据集通过模拟多公司经济系统引入了前所未有的任务层次与不确定性；2) 构建过程中，实现真实感低层级操作（如鼠标点击坐标精确性）与因果状态追踪的平衡极其困难，且需确保合成轨迹不会因重复模式导致过拟合，同时避免高维屏幕帧与稀疏事件序列之间的语义鸿沟，这对数据生成算力和标注质量提出了严苛要求。

常用场景

经典使用场景

在智能体与图形用户界面交互的研究领域中，SynthUX Economy R2数据集为多应用协同操作下的计算机关怀系统提供了极具价值的训练与评估平台。该数据集模拟了真实企业内部多角色、跨平台的工作场景，每个记录包含了一名工作者在模拟公司内的完整设备会话，从自然语言目标出发，经由节点树分解，最终驱动多个桌面应用（如终端、浏览器、邮件客户端等）完成底层鼠标键盘操作。研究者可借此数据集训练GUI智能体在复杂多步骤任务中的规划与执行能力，尤其适合探索如何将高层目标映射为低层输入事件序列，并验证智能体在跨应用、跨操作系统环境下的鲁棒性与泛化性能。

实际应用

在实际应用层面，SynthUX Economy R2数据集直接赋能了企业级自动化办公助手的研发与迭代。基于该数据集训练的智能体能够模拟人类工作者在标准办公环境中的操作习惯，自动执行跨应用的数据录入、文档编辑、邮件发送、即时通讯沟通等繁琐任务。例如，在财务处理场景下，智能体可从浏览器获取报表数据，在电子表格中完成计算整理，再通过邮件将结果发送给相关人员。此类应用可显著提升企业运营效率，降低人力成本，尤其适用于流程标准化程度高且涉及多个系统交互的岗位。此外，该数据集的仿真企业生态还支持多智能体协作任务的测试，为未来智能数字员工的规模化部署提供了原型验证环境。

衍生相关工作

SynthUX Economy R2数据集的发布已催生了一系列富有启发性的衍生研究工作。在模型架构方面，研究者基于其细粒度的轨迹标注，开发了能够同时理解视觉观察与底层输入事件的多模态Transformer模型，显著提升了跨应用任务的成功率。在训练范式上，该数据集被用于探索“从观察中学习”的方案，即通过观察人类或代理在模拟企业中的操作录像，利用逆强化学习等技术提取奖励函数，进而训练更高效的智能体策略。在评估基准方面，多名学者将其作为构建跨应用GUI智能体排行榜的核心数据源，推动了任务难度分级、通用性指标定义等评测方法的标准化进程。这些衍生工作共同丰富了自主GUI交互领域的理论工具库与实践路径。