jacob-valdez/synthux-economy-r5-w072

SynthUX计算机使用数据集（经济模拟r5）是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录模拟一个公司内员工的设备会话：一个目标扩展为节点树，终端节点通过低级鼠标和键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频以及每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），具有每个参与者的内容多样性、跨操作系统消息传递和大规模多公司经济模拟特点。每个经济模拟作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集依托SynthUX生成框架构建，模拟真实企业环境中的多应用桌面操作场景。每个数据记录对应一名员工在模拟公司内的设备会话过程：系统首先将自然语言目标拆解为节点树，终端节点通过底层鼠标与键盘输入驱动真实桌面模拟器应用程序（包括终端、笔记、代码编辑器、浏览器、即时通讯工具、办公套件等），进而记录完整的操作轨迹。最终以屏幕视频及逐节点帧图像的形式呈现观察结果，所有轨迹均来自因果模拟器状态，不依赖高层应用接口，确保数据的底层真实性。

使用方法

数据集以JSONL格式存储核心记录，每条记录包含轨迹唯一标识、所属组织与角色信息、自然语言目标、节点树结构、完整输入事件流及对齐标注。屏幕录制以WebM视频文件保存，逐节点帧以PNG图像按轨迹目录组织。研究者可直接解析data.jsonl文件获取结构化轨迹数据，结合screenshots与videos目录下的视觉素材，用于训练与评估计算机使用智能体在复杂多应用环境中的规划与执行能力。

背景与挑战

背景概述

随着图形用户界面（GUI）智能体的快速发展，如何在高保真、多应用协同的模拟环境中评估其计算机使用能力成为关键研究问题。该数据集由SynthUX团队于近期创建，聚焦于模拟企业内部经济场景下的多应用计算机操作轨迹。数据集收录了36条完整轨迹，覆盖6家虚拟公司、三种操作系统环境（macOS、Windows、浏览器），通过低层级的键盘鼠标事件记录实现因果可观测性。其核心贡献在于构建了企业级多角色互动环境，每个轨迹都包含从自然语言目标到终端节点树的完整分解，为研究GUI智能体的多步骤任务规划与执行提供了高生态效度的基准资源。该工作推动了合成轨迹数据在计算机使用智能体训练与评估中的应用边界，尤其在企业级多应用协同场景中具有重要参考价值。

当前挑战

当前数据集面临的核心挑战涵盖领域问题与构建过程两方面。在领域问题层面，其旨在解决的难点是计算机使用智能体在真实多应用环境中的泛化能力不足——现有智能体通常在单一应用或固定界面中表现良好，但在跨应用、跨操作系统、多角色协作的经济模拟环境中，任务分解的灵活性、目标理解鲁棒性以及低层级动作控制的精确性均面临严峻考验。在构建过程中，主要挑战包括：确保合成轨迹的生态效度，需手动设计多公司角色的目标分布以防止任务模式单一化；跨平台输入事件的时间戳对齐与因果一致性维护，特别是在macOS与Windows的低层级输入差异下保持帧级同步；以及生成内容多样性，避免同一角色在不同公司中的行为模式重复，这要求对每个actor的角色配置与资源权限进行独立建模。

常用场景

经典使用场景

在图形用户界面（GUI）Agent研究领域，synthux-economy-r5-w072数据集为多应用协同操作提供了前所未有的细粒度行为轨迹。该数据集记录了一位模拟公司员工在桌面环境中完成自然语言目标时的完整操作过程，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格和幻灯片等多种应用程序。通过密集的低级鼠标键盘事件和屏幕视频，研究者能够深入探究Agent如何在不同应用间流畅切换、执行跨应用任务以及应对真实桌面环境的动态变化。这一数据集尤其适用于训练和评估基于视觉的GUI Agent，推动从简单单步操作到复杂多步工作流的智能化跃迁。

解决学术问题

长期以来，GUI Agent研究受限于缺乏真实、多应用、跨平台的交互数据，导致模型难以泛化到复杂办公场景。synthux-economy-r5-w072数据集通过构建模拟经济体系中的多公司、多角色工作流，系统性地解决了跨应用通信、内容多样性生成和操作系统异构性等核心挑战。每个轨迹不仅包含完整的操作序列，还保留了屏幕图像与因果状态观察，为研究人机交互中的意图理解、任务规划和错误恢复提供了高质量标注资源。该数据集的发布填补了从单应用控制到多应用协同这一关键学术空白，为探索更通用的计算机使用智能体奠定了数据基础。

实际应用

在实际应用层面，基于该数据集训练的GUI Agent能够显著提升企业办公自动化水平。Agent可以模拟员工在邮件、即时通讯和文档编辑软件间协调任务，例如根据Slack消息自动提取待办事项、在电子表格中更新数据并生成幻灯片报告。此外，数据集中的跨操作系统轨迹（macOS、Windows、浏览器OS）使Agent具备跨平台适应能力，适用于远程办公、客户服务系统和软件开发协作等真实场景。通过将这些合成轨迹作为强化学习或模仿学习的训练材料，企业可大幅减少重复性人机交互操作，提升整体工作效率。

数据集最近研究

最新研究方向

随着图形用户界面（GUI）智能体与多应用协同操作成为人机交互领域的前沿热点，SynthUX经济模拟数据集（synthux-economy-r5-w072）为研究者提供了前所未有的多公司、跨平台、多应用的细粒度轨迹数据。该数据集聚焦于模拟企业环境中不同角色（如员工、管理者）在终端、浏览器、办公套件等真实桌面应用间的自然协作流程，通过密集的低层级鼠标/键盘事件与屏幕视频的精确对齐，突破了传统合成数据缺乏生态复杂性与因果一致性的瓶颈。其出现标志着GUI智能体研究正从单一任务测试迈向多智能体、多组织联动的经济模拟场景，为探究人机协同生产力、跨应用工作流自动化和企业级智能决策提供了可靠的基准，对推动数字劳动自动化与复杂人机系统建模具有深远意义。