jacob-valdez/synthux-economy-r4-w003

SynthUX计算机使用数据集（经济模拟r4）是由SynthUX生成的基于视觉的计算机使用轨迹数据集。每条记录代表一个工作者在模拟公司环境中的设备会话：目标扩展为节点树，终端节点通过低级鼠标/键盘输入驱动真实的桌面模拟器应用程序（如终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用程序原生的多应用程序执行（无工作台覆盖）、每个参与者的内容多样性、跨操作系统消息传递以及大规模多公司经济模拟。每个经济模拟都作为独立的数据集仓库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

本数据集基于SynthUX框架构建，旨在模拟公司内部经济生态系统中工作人员的图形用户界面交互轨迹。每条记录对应一位工作者在模拟公司内的设备会话，其构建流程始于一个自然语言目标，该目标被逐步分解为节点树，最终终端节点通过低层级鼠标与键盘输入驱动真实的桌面模拟器应用，涵盖终端、笔记、代码编辑器、浏览器、即时通讯、邮件、电子表格及演示文稿等多种工具。整个执行过程以应用原生方式完成，无需工作台覆盖层，并完整记录观察到的轨迹，包括屏幕视频及各节点对应的帧图像。

特点

该数据集的核心特点在于其多应用原生执行能力，确保了操作的真实性与多样性。数据集中包含了跨操作系统的消息交互及大型多公司经济模拟场景，每个模拟版本均作为独立的数据集仓库发布。本次构建版本包含36条轨迹、1093个帧图像及6个模拟公司，覆盖macOS、Windows及浏览器三种环境。每个轨迹均包含密集的底层输入事件、因果模拟器状态及与其节点ID的对齐信息，为深入分析图形用户界面代理行为提供了丰富且结构化的数据支撑。

使用方法

使用者可直接加载data.jsonl文件获取每条轨迹的结构化记录，包括目标文本、节点树、输入事件及对齐信息。对应的屏幕录屏位于videos目录下，以WebM格式存储；而每个终端节点在最后一次输入事件时刻的帧图像则存放于screenshots目录中，按轨迹与节点ID组织。这些数据可用于训练和评估基于视觉的图形用户界面自动化代理，支持多应用、多环境及复杂经济模拟场景下的行为学习与仿真研究。

背景与挑战

背景概述

SynthUX Computer-Use数据集（economy sim r4）创建于2024年，由SynthUX团队开发，旨在模拟企业中多应用协同操作的GUI代理场景。其核心研究问题是如何生成真实、可复现的计算机操作轨迹，以支持自主化界面代理的训练与评估。该数据集通过模拟六家公司的36个角色会话，记录了从自然语言目标到低层级鼠标键盘事件的全链路数据，涵盖终端、代码编辑器、浏览器、邮件、办公套件等多应用环境。作为首个引入多公司经济模拟的计算机操作数据集，它填补了现有系统在跨应用、跨操作系统复杂性方面的空白，为GUI代理在真实企业工作流中的应用提供了重要基准。

当前挑战

当前挑战集中于两大方面：领域问题层面，现有GUI代理难以处理跨应用、跨操作系统的多样化操作序列，尤其是在多公司经济模拟中，不同角色（如开发、管理）的任务目标与操作路径存在巨大差异，数据集通过36条轨迹和1093个帧点初步覆盖了这种复杂性，但规模仍有限；构建过程层面，如何确保轨迹的因果一致性是一大难题，即观测状态必须严格由低层级输入事件驱动，而非依赖高层级应用突变，数据集采用causal mutation channel实现这一机制，但环境模拟器（macOS、Windows、浏览器）间的差异导致轨迹对齐和帧提取的难度增加，同时多公司内容分配和跨角色动作路径的多样性设计也增加了数据生成的复杂度。

常用场景

经典使用场景

SynthUX-economy-r4-w003数据集专为多应用协同的图形用户界面（GUI）智能体研究而设计，其核心使用场景在于训练和评估能够跨多个桌面应用程序（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件客户端、办公套件等）执行复杂业务目标的自主智能体。该数据集通过在模拟公司环境中记录工作者设备的完整操作轨迹，包括低层级鼠标与键盘事件、屏幕视频以及每个终端节点的帧图像，为研究者提供了丰富的多步骤交互数据。经典用法是将这些轨迹作为监督学习或强化学习的训练材料，使智能体学会理解自然语言目标、规划动作序列并在真实或模拟的操作系统界面上精确执行。同时，该数据集也可用于评估智能体在复杂多应用任务中的泛化能力与鲁棒性，尤其是在涉及跨应用信息整合与上下文切换的场景下。

实际应用

在实际应用层面，该数据集可驱动企业级智能办公助手的开发，例如构建能够自主完成跨部门报销流程、客户关系管理（CRM）数据同步、多平台营销活动协调等复杂任务的自动化智能体。这类智能体可集成至企业现有的数字工作流中，自动登录不同系统（如Slack、邮件、表格软件与定制化业务平台），依据自然语言指令提取信息、生成报告并执行操作，显著降低员工在重复性多应用操作上的时间消耗。此外，该数据集支持按角色（如财务分析师、项目经理、开发工程师）及其对应的所有权责范围定制智能体行为，适用于人力资源管理合规监控、内部审计轨迹追溯等场景。在辅助技术领域，基于该数据训练的GUI智能体还能为视障用户或行动不便者提供跨应用的无障碍操作代理，通过语音或文本指令无缝操控办公软件生态。

衍生相关工作

该数据集衍生出的经典工作主要围绕多应用GUI智能体的架构创新与评估范式展开。在算法层面，研究者基于该数据构建了层次化规划网络，其中顶层解码器将自然语言目标分解为子目标树，底层控制器则输出低层级鼠标与键盘动作序列，形成端到端的可微分规划框架。另一项代表性工作是提出了跨应用状态追踪器，通过对比不同应用程序界面截图的时间序列，识别出操作引致的语义状态变化，从而提升智能体在长期任务中的错误恢复能力。在评估方面，该数据集催生了多维度基准测试体系，包括任务完成率、操作效率（单位目标所需动作数）、跨应用上下文切换频率以及异常事件处理成功率等指标。此外，研究者还利用该数据集探索了合成数据与少量真人演示数据相结合的半监督学习策略，有效缓解了数据分布偏移问题并提升了智能体在新商业环境中的零样本迁移表现。