jacob-valdez/synthux-economy-r2-w011

SynthUX计算机使用数据集，基于经济模拟版本r2。这是一个由SynthUX生成的视觉计算机使用轨迹数据集，模拟公司环境中的设备会话：每个目标扩展为一个节点树，终端节点通过低级别鼠标/键盘输入驱动真实桌面模拟器应用（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每节点帧。支持应用原生多应用执行（无工作台覆盖）、每个参与者内容多样性、跨操作系统消息传递以及大型多公司经济模拟。每次经济模拟作为独立的数据集仓库发布。The SynthUX Computer Usage Dataset is built upon Economic Simulation Version r2. This is a visual computer usage trajectory dataset generated by SynthUX, which simulates device sessions in corporate environments: each target is expanded into a node tree, and terminal nodes drive real desktop simulator applications (such as terminals, note-taking tools, VS Code, browsers, Slack/Teams, email, spreadsheets, slides, etc.) via low-level mouse and keyboard inputs. Observed trajectories are recorded as screen videos and per-node frames. It supports native multi-application execution (without workspace overlay), content diversity per participant, cross-operating system messaging, and large-scale multi-corporate economic simulations. Each economic simulation is released as an independent dataset repository.

搜集汇总

数据集介绍

构建方式

SynthUX-economy-r2-w011 数据集通过模拟多公司经济体系中的设备会话生成，每个记录对应一位员工在模拟公司内的完整操作轨迹。构建过程始于一个自然语言目标，该目标被扩展为节点树结构，终端节点驱动桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯、邮件、表格及幻灯片等）执行底层鼠标与键盘操作。最终轨迹被记录为屏幕视频与逐节点帧图像，确保执行过程完全基于应用原生操作，而非工作台覆盖层。

使用方法

数据集以 data.jsonl 文件存储每条轨迹的结构化记录，包含轨迹标识、参与者信息、目标描述、节点树及底层输入事件序列。屏幕截图存放于 screenshots/ 目录下，按轨迹与节点ID组织；完整屏幕录像则以 WebM 格式存储于 videos/ 目录。使用者可通过解析 JSONL 获取轨迹层次与输入事件，结合逐帧图像与视频回放，复现完整的图形用户界面操作流程，适用于 GUI 代理训练与计算机使用行为分析。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集诞生于2024年，由研究团队利用SynthUX框架构建，旨在为计算机使用（computer-use）领域提供高质量的合成轨迹数据。该数据集聚焦于模拟企业内部多应用协作场景，记录工作者在桌面环境中的完整操作轨迹，包括终端、浏览器、办公套件等多应用交互，以填补真实场景下多步骤GUI代理任务数据的稀缺性。通过生成36条跨6家模拟公司的轨迹，该数据集为GUI代理的端到端训练与评估提供了细粒度的视觉与低级输入事件标注，推动了智能办公自动化方向的研究边界。

当前挑战

该数据集面临的核心挑战包括领域问题与构建过程两方面。领域层面，GUI代理需应对跨应用、跨操作系统的复杂任务序列，例如从浏览器抓取数据后通过邮件发送，而现有模型常因环境异构性难以泛化。构建层面，生成逼真且因果一致的轨迹需处理低级输入事件（如鼠标移动）与高级语义目标之间的鸿沟，同时确保不同角色、公司间的数据多样性，避免过拟合单一工作流。此外，大规模模拟的经济系统可能引入噪声，需精细平衡数据规模与标注质量以支持可靠的研究结论。

常用场景

经典使用场景

在计算机视觉与智能体交互研究的前沿领域，SynthUX Economy R2 W011数据集为多应用场景下的图形用户界面（GUI）代理训练与评估提供了不可或缺的基准资源。该数据集通过模拟公司内部工作人员的真实设备会话，记录了包含终端、笔记、代码编辑器、浏览器、通信软件、邮件及办公套件在内的跨应用程序操作轨迹。每一条轨迹均由自然语言目标引导，并配有完整的屏幕视频与逐帧图像，使得研究者能够利用其进行端到端的视觉语言模型微调、低层级鼠标键盘动作序列建模以及多步骤任务规划能力的测试。其独特的公司经济模拟背景更引入了角色身份、组织归属与多任务交织的复杂性，从而更贴近现实世界中用户与数字界面的交互模式。

解决学术问题

长期以来，学术界在构建能够自主完成复杂计算机任务的智能体时，面临着两大核心瓶颈：一是缺乏具备真实应用生态、跨应用程序交互的高质量轨迹数据；二是难以评估模型在动态、多步骤任务中的泛化能力与鲁棒性。SynthUX Economy R2 W011数据集通过提供源自模拟经济体的36条密集型交互轨迹，有效填补了这一空白。它使得研究者得以深入探索GUI代理在异构操作系统环境下的零样本迁移能力，并系统性地分析目标分解、错误恢复以及长时序依赖等关键学术问题。该数据集的引入推动了视觉推断与决策控制融合的研究范式，为构建能在真实数字世界中安全、高效运作的自主助理奠定了数据基础。

实际应用

在实际应用中，基于SynthUX Economy R2 W011数据集开发的智能体技术可被部署于企业自动化运维、数字员工助理以及无障碍计算辅助系统等多个领域。例如，经过该数据训练的模型能够自动完成跨部门的财务审批流程、从邮件中提取关键数据并录入电子表格，或根据会议记录自动生成演示文稿。在软件开发场景中，智能体可以模拟新手开发者在集成开发环境与版本控制系统之间的典型操作，从而辅助测试用户界面的人机工程学设计。此外，该数据集所模拟的多角色、多公司经济结构也为企业级软件的行为审计与安全合规检查提供了可复现的测试用例，有助于构建更加可靠和透明的自动化工作流。

数据集最近研究

最新研究方向

SynthUX经济模拟数据集为计算机使用代理（GUI代理）研究提供了首个多公司、多应用、跨操作系统的高保真合成轨迹数据，填补了真实桌面环境多任务协作场景的数据空白。当前前沿方向聚焦于通过该数据集训练和评估能够同时操控终端、浏览器、办公套件及通讯工具的通用型GUI代理，并探索其在模拟企业经济协作中的决策鲁棒性。该数据集紧密关联AI代理在复杂工作流自动化、企业运营仿真及人机协作效率优化等热点话题，其丰富的跨角色、跨公司和跨OS设计使研究者得以检验代理在异构软件生态中的泛化能力与任务对齐精度。这一资源的发布将加速可解释、可审计的计算机使用代理在仿真经济环境中的安全落地，并为未来企业级AI助手系统的可靠性与可扩展性评估奠定数据基础。