jacob-valdez/synthux-economy-r2-w008

SynthUX计算机使用数据集是一个基于模拟经济环境生成的视觉计算机使用轨迹数据集。每个数据记录代表一个模拟公司中的工作者设备会话：一个目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。数据集支持应用原生多应用程序执行（无工作台覆盖）、每个参与者内容的多样性、跨操作系统消息传递，以及大规模多公司经济模拟。每次经济模拟作为独立的数据集存储库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集由SynthUX框架自动生成，聚焦于模拟企业环境中的图形用户界面（GUI）操作轨迹。每条记录对应一位虚拟员工在模拟公司内部的设备会话，具体构建时，将自然语言目标扩展为一棵节点树，终端节点通过低层级的鼠标与键盘输入驱动真实桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、表格处理及演示文稿软件等），从而生成完整的操作轨迹。所有轨迹均以屏幕视频和每节点关键帧的形式被记录，并采用因果观测机制，仅依赖低层输入变更通道，避免高层应用突变干扰，确保数据的真实性与可复现性。

使用方法

该数据集以标准化的JSONL格式存储记录，每行对应一条完整轨迹，其字段包括参与者身份、公司组织、角色职位及操作系统环境等元信息。用户可通过解析`data.jsonl`文件获取轨迹结构，利用`screenshots`目录下的PNG图片按节点ID进行视觉定位，并结合`videos`目录中的WebM格式屏幕录像进行时空对齐分析。推荐用于训练与评估GUI操作代理的推理能力，通过将自然语言目标映射至低层操作序列，或用于多应用协同场景下的行为建模与仿真验证，适配Python中的数据加载库如Hugging Face Datasets进行高效处理。

背景与挑战

背景概述

合成数据在GUI智能体研究中扮演着日益重要的角色，尤其是在多应用协同和跨平台操作场景下。SynthUX Computer-Use数据集（economy sim r2）于2025年由相关研究团队发布，旨在模拟企业内部员工在真实桌面环境中的计算机操作轨迹。该数据集通过生成式框架SynthUX构建，覆盖6家模拟公司、36条操作轨迹，涉及终端、浏览器、代码编辑器、办公套件等多种应用的协同使用。其核心研究问题在于如何为GUI智能体提供高保真、多任务、多平台的训练与评估数据，推动智能体从单一应用操作向复杂企业流程自动化演进。该数据集对计算机使用智能体、人机交互和自动化领域具有显著推动作用，为探索合成数据在模拟真实工作流中的应用提供了重要基准。

当前挑战

该数据集的构建面临双重挑战。领域层面，GUI智能体研究长期受限于真实操作数据的稀缺性和标注成本，现有数据集多聚焦单应用或简单任务，难以支撑多应用协同、跨操作系统（macOS、Windows、浏览器）的复杂场景，导致智能体在真实企业环境中的泛化能力不足。构建过程中，SynthUX需生成因果一致的操作轨迹，确保底层输入事件（鼠标、键盘）与高层目标之间的可溯性，同时避免使用高层次的API操作，以维持与实际用户行为的高度相似性。此外，模拟6家公司、多种角色和多样化内容（如跨OS消息、多应用执行）带来了显著的多样性和规模挑战，需要精心设计节点树结构以实现目标分解与终端驱动执行的平衡，并确保每一条轨迹的视频、帧序列和事件时间戳的精准对齐。

常用场景

经典使用场景

在计算社会科学与人机交互的交叉领域中，SynthUX-Economy-R2-W008数据集为多应用协同的图形用户界面智能体研究提供了宝贵的基准。该数据集通过模拟企业环境中不同角色的工作会话，记录了涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件及办公套件等多类型应用的完整操作轨迹。其经典使用场景在于训练和评估能够跨应用程序执行复杂任务序列的自主GUI智能体，这些智能体需理解高层级目标并分解为底层的鼠标键盘操作，同时应对不同操作系统环境带来的交互差异。

解决学术问题

该数据集有效解决了当前GUI智能体研究中长期存在的两大瓶颈：缺乏涵盖多公司、多角色的真实规模模拟环境，以及缺少细粒度、可溯源的操作轨迹数据。以往研究多局限于单一应用或简化任务，难以反映企业工作流中应用程序间复杂的依赖与信息传递关系。SynthUX通过引入多公司经济模拟和因果状态观测机制，使得研究者能够深入探究智能体在分布式组织架构下的决策推理能力，推动了从单一静态界面操作到动态多应用协同的范式转变，对理解自主系统在真实商业场景中的鲁棒性与适应性具有重要的理论意义。

实际应用

在实际产业应用中，该数据集的能力可直接赋能企业级数字员工的自动化升级。通过利用SynthUX提供的跨平台操作轨迹，开发者能够训练具备多任务协调能力的数字助手，使其在财务核算、客户关系管理、供应链协调等典型商业流程中，无缝穿梭于不同软件系统之间执行数据录入、信息检索与文档生成等操作。此外，基于该数据集构建的智能体还能够辅助软件测试领域实现自动化端到端回归测试，显著提升从开发到部署的迭代效率，为企业数字化转型中的流程自动化提供了可复现、可评估的标准化解决方案。

数据集最近研究

最新研究方向

SynthUX-economy-r2-w008专注于多应用桌面环境中的GUI代理研究，通过合成生成涵盖36条轨迹的跨平台经济模拟数据。该数据集模拟了六家虚拟公司内员工的真实工作流，涵盖终端、浏览器、办公套件等多应用程序的协同操作，并以全屏视频和逐节点截图形式记录底层鼠标/键盘事件。当前前沿方向集中于利用此类高保真轨迹数据训练和评估GUI代理在多步复杂任务中的泛化能力，尤其是在跨应用上下文切换和异构操作系统（macOS、Windows、浏览器OS）中的适应性能。这一工作呼应了AI研究从孤立任务向模拟真实企业级工作流的转变，对推动自动化办公助手和数字员工技术的发展具有重要示范意义。