jacob-valdez/synthux-economy-r4-w000

SynthUX计算机使用数据集——经济模拟r4是一个由SynthUX生成的基于视觉的计算机使用轨迹数据集。每个记录代表一个模拟公司内一个工作者的设备会话：目标扩展成节点树，终端节点通过低级别鼠标/键盘输入驱动真实的桌面模拟器应用程序（包括终端、笔记、VS Code、浏览器、Slack/Teams、邮件、表格、幻灯片等），观察到的轨迹被记录为屏幕视频和每个节点的帧。该数据集支持应用原生多应用程序执行（无工作台覆盖），每个参与者内容具有多样性，包含跨操作系统消息传递，并模拟大型多公司经济。每个经济模拟都作为独立的数据集存储库发布。Grounded visual computer-use trajectories generated by SynthUX. Each record is one workers device session inside a simulated company: a goal expands into a node tree, terminal nodes drive real desktop-simulator apps (Terminal, Notes, VS Code, Browser, Slack/Teams, Mail, Sheets, Slides, …) through low-level mouse/keyboard input, and the observed trajectory is recorded as a screen video plus per-node frames. App-native multi-application execution (no workbench overlay), per-actor content diversity, cross-OS messaging, and large multi-company economies. Each economy simulation is published as its own dataset repo.

搜集汇总

数据集介绍

构建方式

该数据集源自SynthUX系统，旨在模拟企业内部的多应用计算机使用场景。构建过程中，每个工人的设备会话被置于一个模拟公司环境中：一个自然语言目标被展开为节点树结构，终端节点通过底层鼠标和键盘输入驱动真实的桌面模拟器应用（如终端、笔记、代码编辑器、浏览器、即时通讯工具、邮件、电子表格、演示文稿等）。观察到的轨迹被记录为屏幕视频和每个节点的帧图像。整个模拟基于因果机制，仅通过低层输入改变环境状态，未采用高层应用突变。每个经济模拟结果独立发布为一个数据集仓库。

特点

该数据集的显著特点在于其原生多应用执行能力，无工作台覆盖层，确保了真实的操作环境。每个执行主体的内容具有多样性，支持跨操作系统的消息传递，并涵盖大型多公司经济模拟。具体版本包含36条轨迹、827个帧和6个公司模拟，覆盖macOS、Windows和纯浏览器三种操作系统环境。每条轨迹记录了密集的低层输入事件、因果模拟器状态、以及输入事件与节点ID的对齐信息，为研究计算机界面中的智能体行为提供了丰富的多模态数据。

使用方法

用户可通过解析`data.jsonl`文件中的记录来使用该数据集，每条记录包含轨迹ID、参与者信息、公司角色、环境类型以及自然语言目标。详细的轨迹数据存储在`trajectory`字段中，包括节点树、低层输入事件序列和因果状态。配套的屏幕录像和每节点帧图像分别存储于`videos/`和`screenshots/`目录下，便于进行视觉分析。该数据集适用于训练和评估基于视觉的GUI智能体，特别是在多应用协作和复杂任务规划场景中，可结合低层输入事件和帧图像进行端到端的交互建模。

背景与挑战

背景概述

SynthUX Computer-Use (economy sim) 数据集创建于当前技术前沿，由 SynthUX 研究团队开发，旨在破解图形用户界面（GUI）代理在复杂多应用、跨操作系统环境中的自主操作难题。该数据集聚焦于模拟经济体系内员工的计算机使用轨迹，通过合成数据生成策略，为智能代理提供丰富的视觉接地训练样本。其核心研究问题在于如何让智能系统在真实桌面场景中，无缝协调终端、浏览器、办公套件等多应用间的交互，进而推动人机协同效率的提升。作为首个涵盖多公司经济模拟的基准，该数据集在GUI代理与合成数据领域具有开拓性影响力，为后续研究提供了大规模、可复现的评估框架。

当前挑战

当前数据集面临的首要挑战是领域问题的复杂性：代理需在无工作台叠加、应用原生交互的严格约束下，从低层级鼠标键盘事件中推导高层任务意图，并应对跨操作系统（macOS、Windows、浏览器）的界面差异与多公司经济系统的动态变化。构建过程中，数据生成的挑战尤为突出：每个轨迹需模拟员工在模拟公司内的完整设备会话，通过节点树将自然语言目标逐层分解为终端节点的具体操作，同时确保内容多样性、角色一致性及观测状态的因果真实性（仅基于低层级输入变异），这要求精密的合成架构与高保真视觉记录，对计算资源与设计复杂度提出了极高要求。

常用场景

经典使用场景

在计算机视觉与多模态智能体研究的交汇处，SynthUX Economy Simulation数据集为GUI智能体的行为建模提供了前所未有的微观视角。该数据集通过模拟多公司协作经济环境，记录了36条完整的桌面操作轨迹，涵盖浏览器、终端、代码编辑器、邮件客户端等多种企业级应用程序的跨应用调用。每条轨迹均包含从自然语言目标分解到低层鼠标键盘事件的完整映射，辅以屏幕视频和关键帧截图，特别适用于研究复杂多步骤任务中的视觉感知、动作决策与错误恢复机制。其独特的多公司、多角色、跨平台设计，使得该数据集成为训练和评估能够同时管理多个应用程序并模拟真实办公协作流程的通用GUI智能体的黄金标准。

实际应用

在实际工业场景中，SynthUX Economy Simulation数据集的轨迹数据可被直接用于训练企业级RPA（机器人流程自动化）系统的核心认知模块。例如，基于该数据集微调的视觉语言模型能够理解并执行跨SaaS平台的数据搬运任务——从邮件附件中提取采购清单，在浏览器中登录供应商系统比价，再将结果填入内部电子表格并发送审批通知。此外，该数据集的生产环境模拟特性使其特别适合测试智能助手在复杂工单处理、多部门协同审批回滚、紧急资源调配等场景下的鲁棒性，为金融、供应链管理和远程办公协作平台等对操作准确性要求极高的领域提供可量化的训练素材。

衍生相关工作

依托SynthUX Economy Simulation数据集的独特结构，学术界已衍生出一系列标志性工作：基于其因果状态轨迹开发的GUI智能体强化学习评测基准，首次实现了对智能体在意外弹窗、应用卡顿等异常工况下恢复能力的量化比较；借鉴其多公司角色映射方案而诞生的社会角色对齐微调方法，显著提升了助手模型在协作任务中的角色感知精准度；该数据的跨平台记录格式也被用于构建通用环境迁移网络，使得在macOS上训练的策略能够零样本平滑迁移到Windows平台。这些衍生研究不仅拓展了数据集本身的应用边界，更从方法论上重塑了计算机使用智能体的评估范式。