jacob-valdez/synthux-economy-r5-w049

SynthUX计算机使用数据集——经济模拟r5：由SynthUX生成的基于视觉的计算机使用轨迹。每条记录代表一个工作者在模拟公司内的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频加上每个节点的帧。包括应用程序本机多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每个经济模拟作为独立的数据集存储库发布。SynthUX Computer Usage Dataset – Economic Simulation r5: This is a vision-based computer usage trajectory dataset generated by SynthUX. Each record represents a device session of a worker within a simulated company, where objectives are expanded into a node tree. Terminal nodes drive real desktop emulator applications (e.g., Terminal, Notes, VS Code, Browser, Slack/Teams, Email, Spreadsheets, Slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos paired with the frames of each individual node. The dataset covers native cross-application execution of applications (no workspace overlay), content diversity across each participant, cross-operating system messaging, and large-scale multi-company economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX合成框架构建，用于模拟公司环境中多应用协作的计算机操作轨迹。每个记录对应一个虚拟员工在模拟企业内的设备会话，从自然语言目标出发，系统自顶向下展开为节点树，终端节点驱动桌面模拟器（包括终端、记事本、代码编辑器、浏览器、即时通讯工具、办公套件等）执行底层鼠标与键盘操作，从而生成完整的操作轨迹。每条轨迹均以屏幕视频和节点级截图的形式记录，并附带因果模拟状态，确保数据生成过程的高度可控与可复现。

特点

SynthUX-economy-r5-w049数据集的核心特点在于其实践导向的多应用协同操作与大规模公司经济模拟能力。数据集包含36条轨迹、854帧截图及对应视频，涵盖6家虚拟公司，横跨macOS、Windows及浏览器三种桌面环境。每条轨迹均包含丰富的结构化元数据，如角色身份、组织归属、目标描述、操作节点树及密集的低级输入事件序列，支持从宏观行为模式到微观操作细节的多层次分析。

使用方法

数据集以Hugging Face仓库形式发布，包含核心数据文件data.jsonl、按轨迹组织的截图目录及视频文件。用户可加载JSON行文件解析每条轨迹的完整结构，包括输入事件序列、节点对齐信息及媒体文件引用，便于进行GUI代理模型的训练与评估。推荐开发者利用提供的视频与帧数据配合低层级事件日志，开展端到端的计算机使用行为建模与多应用协作能力测试。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r5）由SynthUX团队于2024年创建，专注于模拟多应用、多操作系统环境下的计算机视觉与交互轨迹。该数据集构建了一个包含多个虚拟公司的经济模拟场景，每个记录代表一位员工在桌面模拟器（如macOS、Windows、浏览器）上完成自然语言目标的过程。通过低层级的鼠标和键盘输入，数据集忠实记录了从目标分解到终端节点操作的完整轨迹，涵盖8个应用类型（终端、笔记、代码编辑器、浏览器、消息应用、邮件、表格、演示文稿等）。该数据集的核心研究问题在于如何利用合成数据训练能够理解并执行复杂多应用交互的GUI代理，对人工智能在自动化办公、用户界面理解及人类行为建模等领域具有重要推动作用。其多公司、多角色的设计提升了数据多样性，为跨平台、多任务的计算机使用行为研究提供了宝贵资源。

当前挑战

该数据集所解决的领域挑战包括：1) 真实GUI代理需要处理跨应用、跨操作系统的复杂任务序列，传统单任务数据集无法覆盖此类多步、多工具协作场景；2) 合成数据需要保证行为多样性（如不同角色、公司文化带来的交互差异），避免模型过拟合于特定模式。在构建过程中，面临的挑战有：3) 如何在不同操作系统（macOS、Windows、浏览器）和桌面环境间实现一致的底层输入模拟，确保轨迹因果可靠；4) 生成高保真的屏幕视频和关键帧，同时避免高级应用状态突变干扰轨迹的因果性；5) 平衡数据规模与模拟成本，当前36条轨迹覆盖6家公司、3种环境，仍需要扩展以覆盖更广泛的用户行为和计算场景。

常用场景

经典使用场景

SynthUX Economy Simulation数据集为多应用协作的图形用户界面（GUI）智能体研究提供了高度仿真的实验平台。该数据集通过模拟公司内部员工在日常工作中使用终端、浏览器、邮件客户端、即时通讯工具、办公套件等多种桌面应用程序的场景，记录了完整的视觉轨迹、底层输入事件及屏幕视频。研究者可以基于这些丰富的多模态数据，训练和评估能够理解自然语言目标并自主执行跨应用操作流程的GUI智能体。其核心价值在于突破了传统单一应用操作的局限，使得构建能够像人类一样在复杂软件环境中灵活切换、协调执行任务的通用计算机操作智能体成为可能。

衍生相关工作

基于SynthUX Economy Simulation数据集，衍生出了一系列聚焦于多应用GUI智能体的前沿工作。在模型架构方面，研究者提出了多模态视觉-语言-动作联合编码器，能够同时处理屏幕截图、自然语言目标与底层事件序列；在训练范式上，利用该数据集的因果对齐标签发展出了分层强化学习方法，将高层任务规划与低层鼠标键盘控制解耦训练。此外，该数据集还催生了针对GUI智能体因果推理能力评估的基准框架，以及面向多代理协作场景的经济模拟平台，推动了从单体智能体到多智能体协同办公场景的研究演进。这些工作共同塑造了计算机使用智能体从实验室原型迈向真实生产环境的研究道路。

数据集最近研究

最新研究方向

SynthUX Economy模拟数据集聚焦于多应用协同的图形界面智能体研究，通过模拟企业内多角色、跨平台（macOS/Windows/浏览器）的桌面操作轨迹，为计算机使用智能体（GUI Agents）提供了高保真、多模态的训练与评估基准。该数据集以经济模拟为背景，涵盖6家公司、36条完整轨迹及854帧屏幕截图，结合低层鼠标/键盘事件与因果观测状态，推动了多应用协作、跨系统消息传递及可解释桌面自动化等前沿方向。其合成数据生成方法（SynthUX）规避了真实用户隐私风险，为大规模、可复现的GUI智能体研究开辟了新范式，尤其在复杂企业流程自动化与人类工作流对齐领域具有深远意义。